网站文档批量抓取与本地索引
输入网站或文档目录地址,按范围批量抓取页面、去重并建立本地索引,供后续离线检索和查找相关页面。
功能与用途
适合把分散在网站中的文档批量收集到本地,便于后续反复查阅。提供网站入口或文档目录地址后,可按站点地图或页面链接抓取内容,并限定目录、层级和页数,减少无关页面。抓取结果会去重并写入本地缓存,之后可配合缓存查询和相似页面查找功能检索已保存的内容。也可先仅发现网址,确认收集范围后再抓取正文。使用前需具备可调用的 wigolo 环境;登录站点还需准备可用的认证状态。
适用场景
- 收集整站产品文档:通过站点地图批量抓取产品文档,保存到本地缓存,供后续检索接口和配置说明。
- 只采集指定文档目录:限定抓取文档路径、层级和页数,排除博客、导航等无关页面。
- 采集前盘点网址:先仅发现站点网址,不抓取正文,用于确认页面分布和后续收集范围。
- 保存登录后可见的文档:在已有可用认证状态的前提下,批量抓取需要登录访问的文档页面。
适用人群
- 需要离线查阅技术文档的开发者
- 收集网站资料的研究人员
- 维护团队文档资料库的知识管理人员
使用步骤
- 提供网站入口或文档目录,说明收集范围。
- 选择站点地图、链接遍历或仅发现网址。
- 设置包含与排除路径、最大层级和页数。
- 执行抓取,查看返回内容及本地缓存结果。
- 配合缓存查询或相似页面功能查阅资料。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 知识
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
使用前准备
- 已配置可调用 crawl 功能的 wigolo 环境。
- 提供可访问的网站入口,并明确需要收集的目录或页面范围。
- 抓取登录站点时,需事先准备可用的认证状态;超出内置认证能力的登录流程需另行完成。