整站文档批量抓取
输入目标网站网址或子路径,自动遍历层级抓取所有关联页面,输出结构化 Markdown 或 JSON 内容。
功能与用途
本功能用于批量抓取特定网站或目录下的所有网页内容。用户只需提供起始 URL,并设置抓取深度与数量上限,系统便会通过广度优先遍历自动抓取全部页面,并去除页眉页脚等冗余元素,导出规整的 Markdown、JSON 或纯文本。适合为大模型知识库(RAG)构建语料或批量归档开发文档,支持 JS 渲染与请求频率限制。
适用场景
- RAG 知识库语料下载:输入官方技术文档地址,批量抓取所有说明页面并输出 Markdown,供向量数据库导入检索。
- 博客与资讯整站备份:指定个人博客或资讯专栏的前缀 URL,递归拉取历史所有文章正文保存为独立本地文件。
- API 接口手册结构化提取:针对 API 目录设置单层深度与 JSON 结构模板,批量抓取并输出接口规范字段数据。
适用人群
- AI 工程师
- 后端开发者
- 数据采集工程师
- 技术文档维护者
使用步骤
- 输入目标网站 URL,并指定抓取深度(如 depth 1-2)与页面数量上限
- 按需配置 JS 动态渲染开关、并发限制与请求频率
- 运行抓取命令或 MCP 工具发起异步爬取任务
- 等待抓取完成,将生成的 Markdown 或 JSON 内容转存至指定目录
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-28
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- CRW_API_URL
- CRW_API_KEY
- 读取用户主动提供的内容