AI Skill 大全

多站点数据抓取与导出

输入网站、关键词和抓取数量,通过命令行获取热榜、帖子、论文或视频信息,导出为表格或结构化数据。

功能与用途

适合把分散在多个网站的信息集中取出,用于选题、资料搜集或自动化数据输入。提供目标平台、关键词、条数和输出格式后,可获取热榜、搜索结果、帖子、论文信息及视频字幕,输出表格、JSON、CSV或Markdown。还支持为新网站生成抓取适配配置,并调用部分桌面应用。使用前需安装命令行程序;部分网站还需Chrome扩展及已登录的浏览器,桌面操作需目标应用运行。

适用场景

  • 汇集多平台热点:抓取知乎、微博和B站热榜,导出为CSV,作为每日选题与热点观察的素材。
  • 搜集技术研究资料:按主题检索arXiv论文与Hacker News讨论,输出结构化结果供后续筛选。
  • 提取视频字幕:提供YouTube视频ID,获取字幕内容,作为笔记整理或内容分析的输入。
  • 扩展新网站采集:提供网站地址和采集目标,探索可用接口并生成自定义抓取适配配置。

适用人群

  • 需要跨平台搜集选题的内容运营
  • 需要批量获取网页资料的研究人员
  • 搭建数据采集流程的开发者
  • 为AI智能体接入网站数据的工程师

使用步骤

  1. 安装opencli-rs,运行doctor检查环境。
  2. 确定目标网站、关键词、条数及输出格式。
  3. 使用浏览器模式时,加载扩展并登录目标网站。
  4. 执行抓取命令,将结果导出为所需格式。
  5. 按需筛选数据,或接入脚本与AI工作流。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Blazing fast Rust CLI tool to fetch information from 55+ websites (Twitter, Reddit, YouTube, Bilibili, Zhihu, etc.) with a single command, plus AI-native discovery and Electron app control.

使用前准备

  • 安装opencli-rs,并确保终端可以找到该命令。
  • 具备基础命令行操作知识;筛选数据或编写脚本需要额外经验。
  • 浏览器模式需运行Chrome并加载配套扩展;需登录的网站应保持登录。
  • 控制桌面应用时需先运行目标应用;转发外部命令时需安装对应程序。

依赖与权限

  • PATH

同类 Skill