网站离线文档本地下载
输入目标网址与路径规则,通过 Firecrawl 批量爬取整站或指定子目录并保存为本地 Markdown、截图和链接文件。
功能与用途
该功能基于 Firecrawl CLI 的下载扩展命令(firecrawl x download),先对目标站点域名进行站点拓扑映射(Map),随后自动抓取符合规则的所有页面并按照网站目录结构本地保存到 .firecrawl/ 文件夹中。支持按子路径包含或排除(如过滤多语言版本)、同时导出 Markdown 文档与网页完整截图,适合构建本地离线技术文档库、个人知识库原材料采集或整站内容归档。
适用场景
- 官方技术文档整站离线备份:指定开源项目或第三方服务文档网址,批量下载为层级嵌套的本地 Markdown 文件,便于无网环境下查阅与代码编写。
- 指定功能模块定向采集:配置路径包含或排除规则过滤多语言及无关栏目,定向下载特定 SDK 或核心章节,避免抓取冗余页面并节省额度。
- 网页视觉与外链结构归档:在抓取正文的同时生成页面完整截图并导出内外部链接清单,用于网站历史版本留底、视觉设计参考与链接审计。
适用人群
- 技术写作者
- 大模型知识库构建工程师
- 需要离线查阅技术文档的开发者
- 数字资产归档人员
使用步骤
- 在终端登录 Firecrawl CLI 或配置好有效 API 密钥
- 确定目标网站根路径以及需要抓取或排除的子路径模式(--include-paths / --exclude-paths)
- 执行 firecrawl x download 命令并附加所需格式参数(如 --screenshot 或 --format markdown,links)及 -y 免交互标记
- 命令执行完成后,在当前目录下的 .firecrawl/ 查看按站点层级生成的结构化文件
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 知识
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- 读取用户主动提供的内容