网页数据批量采集
提供网址和所需字段,自动提取网页内容并处理翻页与滚动加载,整理成可筛选、排序和保存的数据。
功能与用途
适合把网站上的商品、文章或目录信息整理成可继续分析的数据。提供单个网址或网址列表,说明要采集的字段、页面范围和输出格式,即可提取名称、价格、标题、链接等内容,汇总多个页面,并进行筛选、排序、去重和格式转换。支持动态加载、分页和滚动加载的页面,也可复用已保存的登录状态。使用前需安装 OpenBrowser 并具备可用浏览器;采集结果可保存为结构化文件,供后续比较、统计或导入其他系统。
适用场景
- 商品目录比价:采集商品列表各页的名称、价格和链接,统一价格格式并排序,形成比价数据。
- 文章索引汇总:从多个栏目或网址提取文章标题与链接,去重后保存为可检索的文章清单。
- 滚动列表采集:滚动加载目录页面,汇总已加载条目的名称与文本,减少逐条复制。
适用人群
- 市场研究人员
- 电商运营人员
- 数据分析师
- 资料整理人员
使用步骤
- 提供目标网址或网址列表,列明所需字段。
- 指定翻页范围、滚动次数和输出格式。
- 检查首批提取结果,确认字段对应正确。
- 批量采集并筛选、排序或去重。
- 保存结果文件,结束浏览器会话。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
使用前准备
- 安装 OpenBrowser,并具备可用的 Chromium 系浏览器或允许安装浏览器的环境。
- 提供目标网址、所需字段及采集范围。
- 采集登录后页面时,需先建立可用的登录状态。
依赖与权限
- GOOGLE_API_KEY
- OPENAI_API_KEY
- ANTHROPIC_API_KEY
- GROQ_API_KEY
- AWS_SECRET_ACCESS_KEY
- AZURE_OPENAI_API_KEY
- NEXT_PUBLIC_API_URL
- NEXT_PUBLIC_WS_URL
- DATABASE_URL