深度爬虫
用 Docker 容器加 Crawlee、Playwright 做容器化深爬,抽取页面与视频内容、去广告降噪,输出含 status、type、videoId、data 的结构化 JSON。
功能与用途
这个 Skill 把深度爬取打包进 Docker 容器,基于 Crawlee 与 Playwright 实现,你挂载好本地资产目录后,用一条 docker run 命令传入目标网址即可启动。它会完成页面内容的抽取与去广告降噪,让抓到的正文更干净;对 YouTube 类目标还会做视频 ID 校验,避免抓错对象。输出是结构化 JSON,包含状态、类型、视频 ID 和具体数据字段,便于后续程序化处理。使用时需要注意的是,它不抓取非公开的个人信息,也不会去处理需要登录或有访问限制的内容。
适用场景
- 需要批量抓取一批公开页面正文并去掉广告与噪音,拿到可直接分析:需要批量抓取一批公开页面正文并去掉广告与噪音,拿到可直接分析的干净内容
- 要抓取 YouTube 视频相关信息,希望先做视频 ID 校:要抓取 YouTube 视频相关信息,希望先做视频 ID 校验避免抓错目标
- 希望用固定容器环境跑爬取任务,避免本地 Node 与浏览器依:希望用固定容器环境跑爬取任务,避免本地 Node 与浏览器依赖版本不一致导致失败
- 需要以 JSON 结构输出爬取结果,便于接入后续的数据处理流:需要以 JSON 结构输出爬取结果,便于接入后续的数据处理流程
适用人群
- 需要批量抓取公开网页或视频内容做素材整理的运营人员
- 希望用容器化方式稳定运行爬取任务、避免环境差异的开发者
- 要为内容分析准备干净正文数据的研究或数据人员
使用步骤
- 确认本机已安装 Docker,并已构建好 clawd-crawlee 镜像
- 准备好目标网址,确认属于公开可访问内容
- 执行 docker run -t --rm -v $(pwd)/skills/deep-scraper/assets:/usr/src/app/assets clawd-crawlee node assets/main_handler.js [TARGET_URL]
- 检查返回 JSON 中的 status 与 data 字段,确认抓取结果完整可用
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 1.0.1
- 最近更新
- 2026-05-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Performs deep scraping of complex sites like YouTube using containerized Crawlee, extracting validated, ad-free transcripts and content as JSON output.
使用前准备
- Docker 运行环境
- 已构建 clawd-crawlee 镜像
- 目标网址为公开可访问内容
依赖与权限
- TARGET_URL
- 读取用户主动提供的内容