AI Skill 大全

网页正文与数据抓取

接收指定网页URL或第三方数据源能力,执行页面渲染过滤与解析,输出干净的Markdown文档或结构化JSON数据。

功能与用途

该功能基于 Firecrawl CLI 提供的网页抓取能力,支持读取指定网页 URL 或调用数据服务契约。它可以自动等待 JavaScript 动态渲染、剔除导航栏和页脚等杂质仅提取主体正文、抽取页面链接,并支持对 PDF 文档进行页数预算控制与内容解析。此外,它还支持并发抓取多个 URL,将网页转录为便于大模型或下游程序读取的干净 Markdown 或 JSON 格式。

适用场景

  • 网页主体内容纯净提取:抓取指定网页并等待JavaScript动态渲染,剔除导航栏与页脚杂质,直接输出干净的Markdown文档供大模型分析。
  • 多页面内容并发采集:同时传入多个网页链接进行并发抓取,自动将各页面的正文内容分别写入本地文件,提升批量数据采集效率。
  • 在线PDF预算控制解析:抓取远程PDF文档并设置最大解析页数上限,在控制点数预算的同时提取文档正文与元数据。

适用人群

  • AI应用开发者
  • 数据分析师
  • LLM工作流搭建者
  • 技术研究人员

使用步骤

  1. 通过命令行输入 firecrawl scrape 加上目标网页 URL 及所需参数(如 --only-main-content 或 --wait-for)
  2. 指定输出格式(Markdown 或 JSON)及保存目标路径(例如 -o .firecrawl/page.md)
  3. 检查生成的文档或数据,验证正文完整度与错误状态

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Read a known webpage or execute a discovered workflow or data-provider capability. Use for page content or structured results once the URL or tool is selected.

依赖与权限

  • 读取用户主动提供的内容

同类 Skill