多站点数据抓取与导出
输入网站、关键词和抓取数量,通过命令行获取热榜、帖子、论文或视频信息,导出为表格或结构化数据。
功能与用途
适合把分散在多个网站的信息集中取出,用于选题、资料搜集或自动化数据输入。提供目标平台、关键词、条数和输出格式后,可获取热榜、搜索结果、帖子、论文信息及视频字幕,输出表格、JSON、CSV或Markdown。还支持为新网站生成抓取适配配置,并调用部分桌面应用。使用前需安装命令行程序;部分网站还需Chrome扩展及已登录的浏览器,桌面操作需目标应用运行。
适用场景
- 汇集多平台热点:抓取知乎、微博和B站热榜,导出为CSV,作为每日选题与热点观察的素材。
- 搜集技术研究资料:按主题检索arXiv论文与Hacker News讨论,输出结构化结果供后续筛选。
- 提取视频字幕:提供YouTube视频ID,获取字幕内容,作为笔记整理或内容分析的输入。
- 扩展新网站采集:提供网站地址和采集目标,探索可用接口并生成自定义抓取适配配置。
适用人群
- 需要跨平台搜集选题的内容运营
- 需要批量获取网页资料的研究人员
- 搭建数据采集流程的开发者
- 为AI智能体接入网站数据的工程师
使用步骤
- 安装opencli-rs,运行doctor检查环境。
- 确定目标网站、关键词、条数及输出格式。
- 使用浏览器模式时,加载扩展并登录目标网站。
- 执行抓取命令,将结果导出为所需格式。
- 按需筛选数据,或接入脚本与AI工作流。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Blazing fast Rust CLI tool to fetch information from 55+ websites (Twitter, Reddit, YouTube, Bilibili, Zhihu, etc.) with a single command, plus AI-native discovery and Electron app control.
使用前准备
- 安装opencli-rs,并确保终端可以找到该命令。
- 具备基础命令行操作知识;筛选数据或编写脚本需要额外经验。
- 浏览器模式需运行Chrome并加载配套扩展;需登录的网站应保持登录。
- 控制桌面应用时需先运行目标应用;转发外部命令时需安装对应程序。
依赖与权限
- PATH