AI Skill 大全

整站文档批量抓取

输入目标网站网址或子路径,自动遍历层级抓取所有关联页面,输出结构化 Markdown 或 JSON 内容。

功能与用途

本功能用于批量抓取特定网站或目录下的所有网页内容。用户只需提供起始 URL,并设置抓取深度与数量上限,系统便会通过广度优先遍历自动抓取全部页面,并去除页眉页脚等冗余元素,导出规整的 Markdown、JSON 或纯文本。适合为大模型知识库(RAG)构建语料或批量归档开发文档,支持 JS 渲染与请求频率限制。

适用场景

  • RAG 知识库语料下载:输入官方技术文档地址,批量抓取所有说明页面并输出 Markdown,供向量数据库导入检索。
  • 博客与资讯整站备份:指定个人博客或资讯专栏的前缀 URL,递归拉取历史所有文章正文保存为独立本地文件。
  • API 接口手册结构化提取:针对 API 目录设置单层深度与 JSON 结构模板,批量抓取并输出接口规范字段数据。

适用人群

  • AI 工程师
  • 后端开发者
  • 数据采集工程师
  • 技术文档维护者

使用步骤

  1. 输入目标网站 URL,并指定抓取深度(如 depth 1-2)与页面数量上限
  2. 按需配置 JS 动态渲染开关、并发限制与请求频率
  3. 运行抓取命令或 MCP 工具发起异步爬取任务
  4. 等待抓取完成,将生成的 Markdown 或 JSON 内容转存至指定目录

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-28
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • CRW_API_URL
  • CRW_API_KEY
  • 读取用户主动提供的内容

同类 Skill