AI Skill 大全

网站文档批量抓取与本地索引

输入网站或文档目录地址,按范围批量抓取页面、去重并建立本地索引,供后续离线检索和查找相关页面。

功能与用途

适合把分散在网站中的文档批量收集到本地,便于后续反复查阅。提供网站入口或文档目录地址后,可按站点地图或页面链接抓取内容,并限定目录、层级和页数,减少无关页面。抓取结果会去重并写入本地缓存,之后可配合缓存查询和相似页面查找功能检索已保存的内容。也可先仅发现网址,确认收集范围后再抓取正文。使用前需具备可调用的 wigolo 环境;登录站点还需准备可用的认证状态。

适用场景

  • 收集整站产品文档:通过站点地图批量抓取产品文档,保存到本地缓存,供后续检索接口和配置说明。
  • 只采集指定文档目录:限定抓取文档路径、层级和页数,排除博客、导航等无关页面。
  • 采集前盘点网址:先仅发现站点网址,不抓取正文,用于确认页面分布和后续收集范围。
  • 保存登录后可见的文档:在已有可用认证状态的前提下,批量抓取需要登录访问的文档页面。

适用人群

  • 需要离线查阅技术文档的开发者
  • 收集网站资料的研究人员
  • 维护团队文档资料库的知识管理人员

使用步骤

  1. 提供网站入口或文档目录,说明收集范围。
  2. 选择站点地图、链接遍历或仅发现网址。
  3. 设置包含与排除路径、最大层级和页数。
  4. 执行抓取,查看返回内容及本地缓存结果。
  5. 配合缓存查询或相似页面功能查阅资料。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
知识
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

使用前准备

  • 已配置可调用 crawl 功能的 wigolo 环境。
  • 提供可访问的网站入口,并明确需要收集的目录或页面范围。
  • 抓取登录站点时,需事先准备可用的认证状态;超出内置认证能力的登录流程需另行完成。

同类 Skill