AI Skill 大全

网页正文清洗抓取

网页正文清洗抓取

功能与用途

替代内置 web_fetch 抓取网页:自动用 Jina Reader 等拿到清洗后的 Markdown 而非原始 HTML,四级降级 Jina → markdown.new → defuddle.md → 原始内容,比原始 HTML 省 50-80% Token。

适用场景

  • 长文与资讯正文提取:输入文章链接自动过滤网页广告、侧边栏和样式脚本,直接提取结构规整的 Markdown 纯正文内容。
  • AI 智能体抓取降低成本:在 Agent 工作流中替代原始 HTML 抓取,剔除冗余标签杂质,大幅降低大模型上下文的 Token 消耗。
  • 多通道容灾数据采集:配置四级清洗降级策略,首选解析服务异常时自动切换备用服务兜底,保障网页内容获取的稳定性。

适用人群

  • 广告投手
  • 电商运营
  • 品牌团队

使用步骤

  1. 描述要接手的重复任务
  2. 让 AI 排成流程
  3. 用真实数据试跑
  4. 补失败重试与人工确认

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
设计
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
入门
版本
1.0.0
最近更新
2026-05-17
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

智能网页抓取技能 - 替代内置 web_fetch,自动使用 Jina Reader / markdown.new / defuddle.md 清洗服务获取干净 Markdown。支持多级降级策略,大幅降低 Token 消耗。当 Agent 需要获取网页内容时使用本技能替代 web_fetch。

使用前准备

  • 一份可试跑的真实数据
  • 输入输出样例

依赖与权限

  • 读取用户主动提供的内容

同类 Skill