AI Skill 大全

网页数据批量采集

提供网址和所需字段,自动提取网页内容并处理翻页与滚动加载,整理成可筛选、排序和保存的数据。

功能与用途

适合把网站上的商品、文章或目录信息整理成可继续分析的数据。提供单个网址或网址列表,说明要采集的字段、页面范围和输出格式,即可提取名称、价格、标题、链接等内容,汇总多个页面,并进行筛选、排序、去重和格式转换。支持动态加载、分页和滚动加载的页面,也可复用已保存的登录状态。使用前需安装 OpenBrowser 并具备可用浏览器;采集结果可保存为结构化文件,供后续比较、统计或导入其他系统。

适用场景

  • 商品目录比价:采集商品列表各页的名称、价格和链接,统一价格格式并排序,形成比价数据。
  • 文章索引汇总:从多个栏目或网址提取文章标题与链接,去重后保存为可检索的文章清单。
  • 滚动列表采集:滚动加载目录页面,汇总已加载条目的名称与文本,减少逐条复制。

适用人群

  • 市场研究人员
  • 电商运营人员
  • 数据分析师
  • 资料整理人员

使用步骤

  1. 提供目标网址或网址列表,列明所需字段。
  2. 指定翻页范围、滚动次数和输出格式。
  3. 检查首批提取结果,确认字段对应正确。
  4. 批量采集并筛选、排序或去重。
  5. 保存结果文件,结束浏览器会话。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

使用前准备

  • 安装 OpenBrowser,并具备可用的 Chromium 系浏览器或允许安装浏览器的环境。
  • 提供目标网址、所需字段及采集范围。
  • 采集登录后页面时,需先建立可用的登录状态。

依赖与权限

  • GOOGLE_API_KEY
  • OPENAI_API_KEY
  • ANTHROPIC_API_KEY
  • GROQ_API_KEY
  • AWS_SECRET_ACCESS_KEY
  • AZURE_OPENAI_API_KEY
  • NEXT_PUBLIC_API_URL
  • NEXT_PUBLIC_WS_URL
  • DATABASE_URL

同类 Skill