AI Skill 大全

网站多页面批量爬取

输入目标网址与路径范围,递归遍历多层链接并批量提取网页正文内容导出为本地JSON文件。

功能与用途

该功能基于 Firecrawl CLI 提供的整站或指定子路径批量递归爬取能力。用户可以指定根网址、抓取深度上限(--max-depth)或子目录白名单(--include-paths),自动顺着超链接遍历全站多层级页面,提取干净的页面结构与正文数据,支持同步等待导出到指定 JSON 文件,或提交异步后台任务供后续查询状态。

适用场景

  • 文档目录定向提取:通过指定子路径(如 /docs)批量爬取技术文档或知识库模块,递归抓取该范围内的所有关联页面并导出为结构化数据。
  • 整站多层级深度遍历:设置最大抓取深度与页面数量上限,顺着超链接自动遍历目标站点的多层级网页,快速收集整站正文内容。
  • 大规模异步抓取监控:针对页面体量庞大的网站提交异步爬取任务,获取任务 ID 进行后台轮询,待任务完成后集中拉取爬取结果。

适用人群

  • 大模型应用与RAG开发者
  • 知识库构建工程师
  • 数据采集与分析人员
  • 技术文档维护人员

使用步骤

  1. 确认目标 URL,并通过 --include-paths 或 --max-depth 明确限制需要爬取的路径范围与层级
  2. 执行 firecrawl crawl 命令,使用 --wait 参数同步等待完成,或直接执行获取 job ID 异步轮询
  3. 在 .firecrawl/ 目录下检查生成的 JSON 结果文件,确认提取页面数量与正文完整性

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • 读取用户主动提供的内容

同类 Skill