AI Skill 大全

Decodo爬虫

通过 Decodo Web Scraping API 抓取谷歌搜索、通用网页、亚马逊、YouTube 字幕和 Reddit 等平台的数据,输出 JSON、markdown 或字幕文本。

功能与用途

该工具封装了 Decodo Web Scraping API,用于多平台数据提取。输入目标关键词、网页链接或 YouTube 视频 ID,即可采集谷歌搜索结果、通用网页正文、亚马逊商品详情与搜索结果、YouTube 视频字幕,以及 Reddit 帖子或板块列表。通用网页输出 Markdown 文本,YouTube 输出字幕,其余目标返回结构化 JSON。使用前需配置 DECODO_AUTH_TOKEN。

适用场景

  • 想了解某个关键词在谷歌搜索上的结果分布,用 google_s:想了解某个关键词在谷歌搜索上的结果分布,用 google_search 目标直接抓取搜索结果页数据
  • 做亚马逊选品调研时,按 amazon_search 目标批量:做亚马逊选品调研时,按 amazon_search 目标批量拉取某类目商品信息,或对指定商品页抓正文详情
  • 需要把某个 YouTube 视频的字幕提取出来做二次内容加工:需要把某个 YouTube 视频的字幕提取出来做二次内容加工,用 youtube_subtitles 直接拿 transcript
  • 跟踪某个 Reddit 版块的讨论,或者抓取指定帖子的正文与:跟踪某个 Reddit 版块的讨论,或者抓取指定帖子的正文与讨论内容作为舆情素材

适用人群

  • 需要批量采集竞品或公开网页数据做分析的电商运营者
  • 要抓取海外平台内容与评论做选题的自媒体运营
  • 需要以命令行方式获取跨平台公开数据的研究或市场人员

使用步骤

  1. 在 Decodo 注册账号并获取 API 认证 token,配置到环境变量 DECODO_AUTH_TOKEN 中
  2. 确定本次抓取的类型,从 google_search、universal、amazon、amazon_search、youtube_subtitles、reddit_post、reddit_subreddit 中选择对应的 --target
  3. 执行 python3 tools/scrape.py 并带上目标参数,按需指定输出为 JSON、markdown 或字幕文本
  4. 检查返回结果的完整性,对失败或缺失的目标调整参数后重试

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.1.0
最近更新
2026-05-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Search Google, scrape web pages, Amazon product pages, YouTube subtitles, or Reddit (post/subreddit) using the Decodo Scraper OpenClaw Skill.

使用前准备

  • Decodo 账号及 API 认证 token(配置为 DECODO_AUTH_TOKEN)
  • Python 3 运行环境
  • 可访问 Decodo 服务的网络环境

依赖与权限

  • DECODO_AUTH_TOKEN
  • 读取用户主动提供的内容

同类 Skill