Decodo爬虫
通过 Decodo Web Scraping API 抓取谷歌搜索、通用网页、亚马逊、YouTube 字幕和 Reddit 等平台的数据,输出 JSON、markdown 或字幕文本。
功能与用途
该工具封装了 Decodo Web Scraping API,用于多平台数据提取。输入目标关键词、网页链接或 YouTube 视频 ID,即可采集谷歌搜索结果、通用网页正文、亚马逊商品详情与搜索结果、YouTube 视频字幕,以及 Reddit 帖子或板块列表。通用网页输出 Markdown 文本,YouTube 输出字幕,其余目标返回结构化 JSON。使用前需配置 DECODO_AUTH_TOKEN。
适用场景
- 想了解某个关键词在谷歌搜索上的结果分布,用 google_s:想了解某个关键词在谷歌搜索上的结果分布,用 google_search 目标直接抓取搜索结果页数据
- 做亚马逊选品调研时,按 amazon_search 目标批量:做亚马逊选品调研时,按 amazon_search 目标批量拉取某类目商品信息,或对指定商品页抓正文详情
- 需要把某个 YouTube 视频的字幕提取出来做二次内容加工:需要把某个 YouTube 视频的字幕提取出来做二次内容加工,用 youtube_subtitles 直接拿 transcript
- 跟踪某个 Reddit 版块的讨论,或者抓取指定帖子的正文与:跟踪某个 Reddit 版块的讨论,或者抓取指定帖子的正文与讨论内容作为舆情素材
适用人群
- 需要批量采集竞品或公开网页数据做分析的电商运营者
- 要抓取海外平台内容与评论做选题的自媒体运营
- 需要以命令行方式获取跨平台公开数据的研究或市场人员
使用步骤
- 在 Decodo 注册账号并获取 API 认证 token,配置到环境变量 DECODO_AUTH_TOKEN 中
- 确定本次抓取的类型,从 google_search、universal、amazon、amazon_search、youtube_subtitles、reddit_post、reddit_subreddit 中选择对应的 --target
- 执行 python3 tools/scrape.py 并带上目标参数,按需指定输出为 JSON、markdown 或字幕文本
- 检查返回结果的完整性,对失败或缺失的目标调整参数后重试
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 1.1.0
- 最近更新
- 2026-05-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Search Google, scrape web pages, Amazon product pages, YouTube subtitles, or Reddit (post/subreddit) using the Decodo Scraper OpenClaw Skill.
使用前准备
- Decodo 账号及 API 认证 token(配置为 DECODO_AUTH_TOKEN)
- Python 3 运行环境
- 可访问 Decodo 服务的网络环境
依赖与权限
- DECODO_AUTH_TOKEN
- 读取用户主动提供的内容