全网语义检索与数据源发现
输入搜索查询或数据需求,执行网络语义搜索并自动匹配结构化数据源契约,输出高相关网页摘要、全页抓取内容或现成API工作流。
功能与用途
该功能基于 Firecrawl CLI 提供智能网络检索与数据源探索能力。除了常规的网络搜索与时效性新闻过滤外,它支持在搜索时直接抓取完整网页内容,避免二次爬取的额度浪费。更重要的是,它集成了 Alexandria 数据目录,能根据用户自然语言语义或目标站点域名,自动匹配现成的结构化 API、专用索引或数据采集工作流契约,方便在普通网页抓取无法满足需求时,无缝衔接获取高价值数据集。同时内置搜索质量反馈机制,可在后台异步提交反馈并返还积分额度。
适用场景
- 行业信息全网调研与全文抓取:输入调研问题检索高相关网页,并在搜索时直接抓取完整网页内容,无需二次爬取即可快速汇总深度资讯。
- 结构化数据源与专用 API 发现:针对企业信息、财报或特定榜单需求,语义检索并匹配现成的数据提供方与工作流契约,获取深层结构化数据。
- 技术文档与开源项目精准检索:利用开发者专用分类索引,跨开源仓库、PR 记录及官方文档检索技术内容,精准定位代码实现与解决方案。
适用人群
- AI Agent 开发者
- 数据工程师与网络爬虫开发人员
- 需要自动化采集最新结构化数据的技术研究员
- 构建智能知识检索与 RAG 系统的工程师
使用步骤
- 在终端执行 firecrawl search 传入目标查询语句,按需添加 --scrape 或 --sources 参数
- 检查返回结果中的 data.web 网页摘要及 data.tools 中的 Alexandria 结构化数据源匹配项
- 若匹配到专用工具契约,使用 firecrawl list <provider> <capability> --pretty 查看参数要求并通过 scrape 执行
- 通过 jq 解析 .firecrawl 目录下的结果文件,并在获取数据后调用 search-feedback 提交有效性反馈以返还额度
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Find web sources with query-relevant page excerpts and optional full-page content, and discover workflows, data APIs, and indexes. Use for web research or finding structured records, listings, transcripts, and datasets. Supports semantic tool discovery, domain matching, and progressive catalogue browsing.
使用前准备
- 已安装 Node.js 环境并可执行 npx 或全局安装 firecrawl-cli
- 配置有效的 FIRECRAWL_API_KEY 环境变量
- 具备基本的 Bash 命令行与 jq JSON 数据处理能力
依赖与权限
- 读取用户主动提供的内容