AI Skill 大全

网站离线文档本地下载

输入目标网址与路径规则,通过 Firecrawl 批量爬取整站或指定子目录并保存为本地 Markdown、截图和链接文件。

功能与用途

该功能基于 Firecrawl CLI 的下载扩展命令(firecrawl x download),先对目标站点域名进行站点拓扑映射(Map),随后自动抓取符合规则的所有页面并按照网站目录结构本地保存到 .firecrawl/ 文件夹中。支持按子路径包含或排除(如过滤多语言版本)、同时导出 Markdown 文档与网页完整截图,适合构建本地离线技术文档库、个人知识库原材料采集或整站内容归档。

适用场景

  • 官方技术文档整站离线备份:指定开源项目或第三方服务文档网址,批量下载为层级嵌套的本地 Markdown 文件,便于无网环境下查阅与代码编写。
  • 指定功能模块定向采集:配置路径包含或排除规则过滤多语言及无关栏目,定向下载特定 SDK 或核心章节,避免抓取冗余页面并节省额度。
  • 网页视觉与外链结构归档:在抓取正文的同时生成页面完整截图并导出内外部链接清单,用于网站历史版本留底、视觉设计参考与链接审计。

适用人群

  • 技术写作者
  • 大模型知识库构建工程师
  • 需要离线查阅技术文档的开发者
  • 数字资产归档人员

使用步骤

  1. 在终端登录 Firecrawl CLI 或配置好有效 API 密钥
  2. 确定目标网站根路径以及需要抓取或排除的子路径模式(--include-paths / --exclude-paths)
  3. 执行 firecrawl x download 命令并附加所需格式参数(如 --screenshot 或 --format markdown,links)及 -y 免交互标记
  4. 命令执行完成后,在当前目录下的 .firecrawl/ 查看按站点层级生成的结构化文件

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
知识
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • 读取用户主动提供的内容

同类 Skill