AI Skill 大全

网页正文结构化抓取

输入目标网页链接与提取重点,通过命令行工具自动剥离广告导航并抓取完整正文并保存为 JSON 文件。

功能与用途

该功能基于 parallel-cli 命令行工具,帮助用户快速从指定的一个或多个网页 URL 中抓取并解析网页正文。它会自动过滤网页页眉、页脚、导航栏和广告干扰,忠实保留正文字段、列表细节与原始数据,支持通过指定提取目标(objective)或关键词(query)进行定向内容抽取,并自动将抓取结果以 JSON 文件格式持久化保存在本地临时目录供后续工作流调用。

适用场景

  • 技术文档与长文归档:输入官方文档或深度长文链接,自动剔除导航栏与广告干扰,完整抽取正文细节与列表,并持久化保存为 JSON 文件。
  • 自动化数据管线输入:在命令行或脚本流水线中直接调用该工具抓取网页,输出纯净的结构化数据,无缝对接后续大模型处理或知识库构建。
  • 特定主题定向抽取:传入目标网页并附加目标描述或关键词,定向抓取匹配的核心段落、技术参数或关键事实,过滤无关内容。

适用人群

  • AI Agent 开发者
  • 数据分析师
  • 需要批量采集网页正文的研究人员
  • 依赖命令行自动化获取网页内容的技术人员

使用步骤

  1. 提供一个或多个待提取内容的完整网页 URL
  2. 根据需要补充提取重点(--objective)、过滤关键词(-q)或全文参数(--full-content)
  3. 执行 CLI 抓取命令,系统在终端返回无修饰的页面正文内容
  4. 在提示的本地临时路径(/tmp/*.json)查看并复用保存的结构化数据

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-24
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

CLI-backed URL extraction. Use when the user explicitly invokes this skill, needs CLI-only controls or saved JSON output, or no Parallel web_fetch MCP tool is available. When the bundled Parallel Search MCP is available, prefer its web_fetch tool for ordinary webpages, articles, PDFs, and JavaScript-heavy sites.

依赖与权限

  • 读取用户主动提供的内容

同类 Skill