网站多页面批量爬取
输入目标网址与路径范围,递归遍历多层链接并批量提取网页正文内容导出为本地JSON文件。
功能与用途
该功能基于 Firecrawl CLI 提供的整站或指定子路径批量递归爬取能力。用户可以指定根网址、抓取深度上限(--max-depth)或子目录白名单(--include-paths),自动顺着超链接遍历全站多层级页面,提取干净的页面结构与正文数据,支持同步等待导出到指定 JSON 文件,或提交异步后台任务供后续查询状态。
适用场景
- 文档目录定向提取:通过指定子路径(如 /docs)批量爬取技术文档或知识库模块,递归抓取该范围内的所有关联页面并导出为结构化数据。
- 整站多层级深度遍历:设置最大抓取深度与页面数量上限,顺着超链接自动遍历目标站点的多层级网页,快速收集整站正文内容。
- 大规模异步抓取监控:针对页面体量庞大的网站提交异步爬取任务,获取任务 ID 进行后台轮询,待任务完成后集中拉取爬取结果。
适用人群
- 大模型应用与RAG开发者
- 知识库构建工程师
- 数据采集与分析人员
- 技术文档维护人员
使用步骤
- 确认目标 URL,并通过 --include-paths 或 --max-depth 明确限制需要爬取的路径范围与层级
- 执行 firecrawl crawl 命令,使用 --wait 参数同步等待完成,或直接执行获取 job ID 异步轮询
- 在 .firecrawl/ 目录下检查生成的 JSON 结果文件,确认提取页面数量与正文完整性
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- 读取用户主动提供的内容