网站URL映射与页面检索
输入目标网站域名与关键词,探测并筛选整站链接结构,输出结构化URL列表以供抓取或分析。
功能与用途
该功能基于 Firecrawl CLI 的 map 命令,帮助用户在只知道主站域名但未知具体子页面路径时,全量探测或通过关键词快速检索目标站点的所有 URL。用户可设置抓取数量上限、使用关键词过滤文档或特定功能页,并将结果导出为纯文本或 JSON 文件,常用于批量爬取准备、文档路径定位及网站结构分析。
适用场景
- 大型文档特定页面定位:在内容繁杂的官方文档或知识库中,通过关键词过滤快速找出特定API或功能页面的精准URL,省去逐层翻找时间。
- 批量数据采集前置探测:在启动大规模网页抓取前,扫描并导出目标站点的全量URL清单与层级结构,用于筛选待抓取的有效页面。
- 网站内容结构清点审计:全面探测站点开放的所有子页面链接,导出为列表或JSON文件,辅助分析网站拓扑架构与进行SEO内容清点。
适用人群
- 后端开发者
- 爬虫工程师
- AI应用开发者
- 数据分析师
使用步骤
- 确保已安装 firecrawl-cli 并完成账号登录认证
- 执行 firecrawl map 命令并传入目标站点 URL,可附加 --search 参数筛选特定关键词
- 根据需求添加 --limit 限制抓取数量或添加 --json 输出格式
- 将输出结果保存至本地目录(如 .firecrawl/urls.json),用于后续抓取或查阅
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- 读取用户主动提供的内容