AI Skill 大全

网站URL映射与页面检索

输入目标网站域名与关键词,探测并筛选整站链接结构,输出结构化URL列表以供抓取或分析。

功能与用途

该功能基于 Firecrawl CLI 的 map 命令,帮助用户在只知道主站域名但未知具体子页面路径时,全量探测或通过关键词快速检索目标站点的所有 URL。用户可设置抓取数量上限、使用关键词过滤文档或特定功能页,并将结果导出为纯文本或 JSON 文件,常用于批量爬取准备、文档路径定位及网站结构分析。

适用场景

  • 大型文档特定页面定位:在内容繁杂的官方文档或知识库中,通过关键词过滤快速找出特定API或功能页面的精准URL,省去逐层翻找时间。
  • 批量数据采集前置探测:在启动大规模网页抓取前,扫描并导出目标站点的全量URL清单与层级结构,用于筛选待抓取的有效页面。
  • 网站内容结构清点审计:全面探测站点开放的所有子页面链接,导出为列表或JSON文件,辅助分析网站拓扑架构与进行SEO内容清点。

适用人群

  • 后端开发者
  • 爬虫工程师
  • AI应用开发者
  • 数据分析师

使用步骤

  1. 确保已安装 firecrawl-cli 并完成账号登录认证
  2. 执行 firecrawl map 命令并传入目标站点 URL,可附加 --search 参数筛选特定关键词
  3. 根据需求添加 --limit 限制抓取数量或添加 --json 输出格式
  4. 将输出结果保存至本地目录(如 .firecrawl/urls.json),用于后续抓取或查阅

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • 读取用户主动提供的内容

同类 Skill