AI Skill 大全

深度爬虫

用 Docker 容器加 Crawlee、Playwright 做容器化深爬,抽取页面与视频内容、去广告降噪,输出含 status、type、videoId、data 的结构化 JSON。

功能与用途

这个 Skill 把深度爬取打包进 Docker 容器,基于 Crawlee 与 Playwright 实现,你挂载好本地资产目录后,用一条 docker run 命令传入目标网址即可启动。它会完成页面内容的抽取与去广告降噪,让抓到的正文更干净;对 YouTube 类目标还会做视频 ID 校验,避免抓错对象。输出是结构化 JSON,包含状态、类型、视频 ID 和具体数据字段,便于后续程序化处理。使用时需要注意的是,它不抓取非公开的个人信息,也不会去处理需要登录或有访问限制的内容。

适用场景

  • 需要批量抓取一批公开页面正文并去掉广告与噪音,拿到可直接分析:需要批量抓取一批公开页面正文并去掉广告与噪音,拿到可直接分析的干净内容
  • 要抓取 YouTube 视频相关信息,希望先做视频 ID 校:要抓取 YouTube 视频相关信息,希望先做视频 ID 校验避免抓错目标
  • 希望用固定容器环境跑爬取任务,避免本地 Node 与浏览器依:希望用固定容器环境跑爬取任务,避免本地 Node 与浏览器依赖版本不一致导致失败
  • 需要以 JSON 结构输出爬取结果,便于接入后续的数据处理流:需要以 JSON 结构输出爬取结果,便于接入后续的数据处理流程

适用人群

  • 需要批量抓取公开网页或视频内容做素材整理的运营人员
  • 希望用容器化方式稳定运行爬取任务、避免环境差异的开发者
  • 要为内容分析准备干净正文数据的研究或数据人员

使用步骤

  1. 确认本机已安装 Docker,并已构建好 clawd-crawlee 镜像
  2. 准备好目标网址,确认属于公开可访问内容
  3. 执行 docker run -t --rm -v $(pwd)/skills/deep-scraper/assets:/usr/src/app/assets clawd-crawlee node assets/main_handler.js [TARGET_URL]
  4. 检查返回 JSON 中的 status 与 data 字段,确认抓取结果完整可用

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.0.1
最近更新
2026-05-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Performs deep scraping of complex sites like YouTube using containerized Crawlee, extracting validated, ad-free transcripts and content as JSON output.

使用前准备

  • Docker 运行环境
  • 已构建 clawd-crawlee 镜像
  • 目标网址为公开可访问内容

依赖与权限

  • TARGET_URL
  • 读取用户主动提供的内容

同类 Skill