网页正文结构化抓取
输入目标网页链接与提取重点,通过命令行工具自动剥离广告导航并抓取完整正文并保存为 JSON 文件。
功能与用途
该功能基于 parallel-cli 命令行工具,帮助用户快速从指定的一个或多个网页 URL 中抓取并解析网页正文。它会自动过滤网页页眉、页脚、导航栏和广告干扰,忠实保留正文字段、列表细节与原始数据,支持通过指定提取目标(objective)或关键词(query)进行定向内容抽取,并自动将抓取结果以 JSON 文件格式持久化保存在本地临时目录供后续工作流调用。
适用场景
- 技术文档与长文归档:输入官方文档或深度长文链接,自动剔除导航栏与广告干扰,完整抽取正文细节与列表,并持久化保存为 JSON 文件。
- 自动化数据管线输入:在命令行或脚本流水线中直接调用该工具抓取网页,输出纯净的结构化数据,无缝对接后续大模型处理或知识库构建。
- 特定主题定向抽取:传入目标网页并附加目标描述或关键词,定向抓取匹配的核心段落、技术参数或关键事实,过滤无关内容。
适用人群
- AI Agent 开发者
- 数据分析师
- 需要批量采集网页正文的研究人员
- 依赖命令行自动化获取网页内容的技术人员
使用步骤
- 提供一个或多个待提取内容的完整网页 URL
- 根据需要补充提取重点(--objective)、过滤关键词(-q)或全文参数(--full-content)
- 执行 CLI 抓取命令,系统在终端返回无修饰的页面正文内容
- 在提示的本地临时路径(/tmp/*.json)查看并复用保存的结构化数据
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-24
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
CLI-backed URL extraction. Use when the user explicitly invokes this skill, needs CLI-only controls or saved JSON output, or no Parallel web_fetch MCP tool is available. When the bundled Parallel Search MCP is available, prefer its web_fetch tool for ordinary webpages, articles, PDFs, and JavaScript-heavy sites.
依赖与权限
- 读取用户主动提供的内容