网页正文清洗抓取
网页正文清洗抓取
功能与用途
替代内置 web_fetch 抓取网页:自动用 Jina Reader 等拿到清洗后的 Markdown 而非原始 HTML,四级降级 Jina → markdown.new → defuddle.md → 原始内容,比原始 HTML 省 50-80% Token。
适用场景
- 长文与资讯正文提取:输入文章链接自动过滤网页广告、侧边栏和样式脚本,直接提取结构规整的 Markdown 纯正文内容。
- AI 智能体抓取降低成本:在 Agent 工作流中替代原始 HTML 抓取,剔除冗余标签杂质,大幅降低大模型上下文的 Token 消耗。
- 多通道容灾数据采集:配置四级清洗降级策略,首选解析服务异常时自动切换备用服务兜底,保障网页内容获取的稳定性。
适用人群
- 广告投手
- 电商运营
- 品牌团队
使用步骤
- 描述要接手的重复任务
- 让 AI 排成流程
- 用真实数据试跑
- 补失败重试与人工确认
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 设计
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 入门
- 版本
- 1.0.0
- 最近更新
- 2026-05-17
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
智能网页抓取技能 - 替代内置 web_fetch,自动使用 Jina Reader / markdown.new / defuddle.md 清洗服务获取干净 Markdown。支持多级降级策略,大幅降低 Token 消耗。当 Agent 需要获取网页内容时使用本技能替代 web_fetch。
使用前准备
- 一份可试跑的真实数据
- 输入输出样例
依赖与权限
- 读取用户主动提供的内容