AI Skill 大全

全站博客批量抓取归档

输入博客或Newsletter主页网址,自动探测Feed分页并批量抓取所有公开历史文章,清洗去重后生成标准Markdown知识库源文件。

功能与用途

专门针对全站出版物(如 Substack、WordPress、Ghost 或标准 RSS/Atom 源)的大规模文章归档能力。它能自动探测 Feed 与站点地图进行分页抓取,采用规范 URL 进行幂等去重,具备针对反爬 429 的指数退避节奏控制及空壳页面检测修复机制。同时内置提示词注入防御,将抓取内容严格作为纯数据隔离标记,并将归档好的标准 Markdown 源文档无缝交接给下游知识网络进行实体链接。

适用场景

  • Substack专栏全量归档:输入专栏主页自动探测Feed与分页,批量抓取历史公开文章并规整为标准Markdown文档。
  • 独立个人博客站点回溯:解析WordPress或Ghost站点的Feed与Sitemap,依规范URL幂等去重并提取纯文本内容。
  • 知识库外部出版物导入:抓取目标出版物公开合集,清洗隔离潜在提示词注入,将清洗后的源文档交接至下游知识网络。

适用人群

  • 个人知识库(PKM)构建者
  • 长文深度阅读与研究者
  • 数字资产备份整理人员
  • 行业分析师

使用步骤

  1. 输入目标博客、Newsletter 或 RSS 订阅链接
  2. 自动通过页面 Head 标签、常规路径或 Sitemap 探测并枚举全站文章 URL 列表
  3. 按照小规模试跑(3-5篇)确认正文提取质量,再渐进式放量抓取
  4. 执行 URL 参数清洗与知识库幂等去重,过滤付费遮挡或空白残页
  5. 将清洗后的规范 Markdown 写入 sources 目录,并交接给后续实体链接任务

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
知识
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
master
最近更新
2026-09-24
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • 读取用户主动提供的内容

同类 Skill