AI Skill 大全

网页抓取与搜索

给关键词或网址,联网搜索、抓单页正文或整站爬取,拿到可用的网页内容和结构化数据。

功能与用途

需要把一批网页内容拿到手、或者要从某站点批量取资料时,逐个复制粘贴很费时间。这个能力可以按关键词做联网搜索、抓取指定的单个页面(包括靠 JS 渲染的页面),也可以按页数上限爬完整站,并把页面里的结构化数据提出来。前提是先在环境里配好 Firecrawl 的 API Key。

适用场景

  • 要调研一个行业,需要按十来个关键词联网搜索并把结果网页正文都:要调研一个行业,需要按十来个关键词联网搜索并把结果网页正文都取回来
  • 目标站点靠 JavaScript 渲染,普通方式抓不到内容,:目标站点靠 JavaScript 渲染,普通方式抓不到内容,需要能渲染后抓取的方案
  • 要把一个官网几十个页面整体爬下来,整理成结构化字段表:要把一个官网几十个页面整体爬下来,整理成结构化字段表
  • 做检索增强应用,需要稳定的网页搜索与正文抓取能力接进流程:做检索增强应用,需要稳定的网页搜索与正文抓取能力接进流程

适用人群

  • 做竞品与资料调研的运营人员
  • 需要批量采集网页数据的数据分析人员
  • 开发检索类应用的工程师

使用步骤

  1. 先在环境变量或 .env 文件里设好 FIRECRAWL_API_KEY
  2. 给出你要搜的关键词,或要抓的网址,以及页数上限
  3. 搜索任务会返回一批结果链接,抓取任务会返回该页正文内容
  4. 整站爬取按你设的 --max-pages 上限跑完,把页面和结构化数据落到本地或指定目录
  5. 拿到结果后核对一下页面是否完整、字段是否对得上,再进入下一步使用

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.0.0
最近更新
2026-05-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Web search and scraping via Firecrawl API. Use when you need to search the web, scrape websites (including JS-heavy pages), crawl entire sites, or extract structured data from web pages. Requires FIRECRAWL_API_KEY environment variable.

使用前准备

  • 需要命令行环境并配置 FIRECRAWL_API_KEY(外部服务密钥)。

依赖与权限

  • FIRECRAWL_API_KEY
  • 读取用户主动提供的内容

同类 Skill