全站博客批量抓取归档
输入博客或Newsletter主页网址,自动探测Feed分页并批量抓取所有公开历史文章,清洗去重后生成标准Markdown知识库源文件。
功能与用途
专门针对全站出版物(如 Substack、WordPress、Ghost 或标准 RSS/Atom 源)的大规模文章归档能力。它能自动探测 Feed 与站点地图进行分页抓取,采用规范 URL 进行幂等去重,具备针对反爬 429 的指数退避节奏控制及空壳页面检测修复机制。同时内置提示词注入防御,将抓取内容严格作为纯数据隔离标记,并将归档好的标准 Markdown 源文档无缝交接给下游知识网络进行实体链接。
适用场景
- Substack专栏全量归档:输入专栏主页自动探测Feed与分页,批量抓取历史公开文章并规整为标准Markdown文档。
- 独立个人博客站点回溯:解析WordPress或Ghost站点的Feed与Sitemap,依规范URL幂等去重并提取纯文本内容。
- 知识库外部出版物导入:抓取目标出版物公开合集,清洗隔离潜在提示词注入,将清洗后的源文档交接至下游知识网络。
适用人群
- 个人知识库(PKM)构建者
- 长文深度阅读与研究者
- 数字资产备份整理人员
- 行业分析师
使用步骤
- 输入目标博客、Newsletter 或 RSS 订阅链接
- 自动通过页面 Head 标签、常规路径或 Sitemap 探测并枚举全站文章 URL 列表
- 按照小规模试跑(3-5篇)确认正文提取质量,再渐进式放量抓取
- 执行 URL 参数清洗与知识库幂等去重,过滤付费遮挡或空白残页
- 将清洗后的规范 Markdown 写入 sources 目录,并交接给后续实体链接任务
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 知识
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- master
- 最近更新
- 2026-09-24
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- 读取用户主动提供的内容