网页抓取与搜索
给关键词或网址,联网搜索、抓单页正文或整站爬取,拿到可用的网页内容和结构化数据。
功能与用途
需要把一批网页内容拿到手、或者要从某站点批量取资料时,逐个复制粘贴很费时间。这个能力可以按关键词做联网搜索、抓取指定的单个页面(包括靠 JS 渲染的页面),也可以按页数上限爬完整站,并把页面里的结构化数据提出来。前提是先在环境里配好 Firecrawl 的 API Key。
适用场景
- 要调研一个行业,需要按十来个关键词联网搜索并把结果网页正文都:要调研一个行业,需要按十来个关键词联网搜索并把结果网页正文都取回来
- 目标站点靠 JavaScript 渲染,普通方式抓不到内容,:目标站点靠 JavaScript 渲染,普通方式抓不到内容,需要能渲染后抓取的方案
- 要把一个官网几十个页面整体爬下来,整理成结构化字段表:要把一个官网几十个页面整体爬下来,整理成结构化字段表
- 做检索增强应用,需要稳定的网页搜索与正文抓取能力接进流程:做检索增强应用,需要稳定的网页搜索与正文抓取能力接进流程
适用人群
- 做竞品与资料调研的运营人员
- 需要批量采集网页数据的数据分析人员
- 开发检索类应用的工程师
使用步骤
- 先在环境变量或 .env 文件里设好 FIRECRAWL_API_KEY
- 给出你要搜的关键词,或要抓的网址,以及页数上限
- 搜索任务会返回一批结果链接,抓取任务会返回该页正文内容
- 整站爬取按你设的 --max-pages 上限跑完,把页面和结构化数据落到本地或指定目录
- 拿到结果后核对一下页面是否完整、字段是否对得上,再进入下一步使用
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 1.0.0
- 最近更新
- 2026-05-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Web search and scraping via Firecrawl API. Use when you need to search the web, scrape websites (including JS-heavy pages), crawl entire sites, or extract structured data from web pages. Requires FIRECRAWL_API_KEY environment variable.
使用前准备
- 需要命令行环境并配置 FIRECRAWL_API_KEY(外部服务密钥)。
依赖与权限
- FIRECRAWL_API_KEY
- 读取用户主动提供的内容