网页抓取
合规网页抓取:遵守 robots.txt、服务条款、速率限制与 GDPR/CCPA,把公开网页内容整理成结构化数据。
功能与用途
本技能用于在合规前提下将公开网页内容抓取并整理为结构化数据。用户输入目标网页链接、所需采集的公开字段及频率配置;技能遵循 robots.txt 规范、服务协议与请求频次约束,并主动剥离个人身份信息,最终输出规范的结构化数据集。适用于价格监测、公开列表抓取等场景。使用门槛为需要具备基础的爬虫代码开发或运行环境,且仅适用于公开免登录页面,不可用于采集需鉴权或涉及个人隐私的数据。
适用场景
- 公开电商行情与比价监测:采集开放电商平台的商品公开标价与规格信息,自动执行访问间隔与速率退避控制,输出干净的事实数据用于价格分析。
- 行业资讯与公开公告汇总:定期从行业门户采集免登录公开新闻和企业动态,快速过滤掉非必要的联系方式等隐私字段,整理为标准格式供归档。
- 公共数据目录定期归集:对公开目录、政府开放数据平台进行友好抓取,严格遵照 robots.txt 许可范围提取条目,留存抓取日志以便审计合规。
适用人群
- 开发者
- 数据分析
- 电商运营
使用步骤
- 先查 robots.txt 与服务条款。
- 区分公开/个人数据。
- 设速率限制与 UA、尊重 429。
- 剥离 PII 并留审计。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 1.0.0
- 最近更新
- 2026-05-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Legal web scraping with robots.txt compliance, rate limiting, and GDPR/CCPA-aware data handling.
使用前准备
- 目标网页与抓取需求
- (运行)代码环境
依赖与权限
- 读取用户主动提供的内容