网页正文与数据抓取
接收指定网页URL或第三方数据源能力,执行页面渲染过滤与解析,输出干净的Markdown文档或结构化JSON数据。
功能与用途
该功能基于 Firecrawl CLI 提供的网页抓取能力,支持读取指定网页 URL 或调用数据服务契约。它可以自动等待 JavaScript 动态渲染、剔除导航栏和页脚等杂质仅提取主体正文、抽取页面链接,并支持对 PDF 文档进行页数预算控制与内容解析。此外,它还支持并发抓取多个 URL,将网页转录为便于大模型或下游程序读取的干净 Markdown 或 JSON 格式。
适用场景
- 网页主体内容纯净提取:抓取指定网页并等待JavaScript动态渲染,剔除导航栏与页脚杂质,直接输出干净的Markdown文档供大模型分析。
- 多页面内容并发采集:同时传入多个网页链接进行并发抓取,自动将各页面的正文内容分别写入本地文件,提升批量数据采集效率。
- 在线PDF预算控制解析:抓取远程PDF文档并设置最大解析页数上限,在控制点数预算的同时提取文档正文与元数据。
适用人群
- AI应用开发者
- 数据分析师
- LLM工作流搭建者
- 技术研究人员
使用步骤
- 通过命令行输入 firecrawl scrape 加上目标网页 URL 及所需参数(如 --only-main-content 或 --wait-for)
- 指定输出格式(Markdown 或 JSON)及保存目标路径(例如 -o .firecrawl/page.md)
- 检查生成的文档或数据,验证正文完整度与错误状态
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Read a known webpage or execute a discovered workflow or data-provider capability. Use for page content or structured results once the URL or tool is selected.
依赖与权限
- 读取用户主动提供的内容