爬虫开发参考
提供网页抓取、解析、限速和错误处理的开发方法。
功能与用途
提供网页抓取、解析、限速和错误处理的开发方法。你可以这样用:用大白话描述你想用它实现的效果,不用自己写代码;AI给出它能直接运行的代码或操作步骤;把报错贴给AI,它会定位它的问题并修好。适合职场用户、个人用户、内容创作者。
适用场景
- 爬虫架构与技术选型:查阅 Scrapy、Playwright 等工具选型指引,规划高并发、增量抓取与分布式存储方案。
- 反爬与动态渲染应对:排查反爬虫阻拦、JS 动态渲染及字符编码乱码问题,获取代理轮换与无头浏览器配置参考。
- 爬虫合规与协议遵循:核对 robots.txt 规范、抓取限速与道德法律边界,确保数据抓取流程符合行业合规标准。
适用人群
- 职场用户
- 个人用户
- 内容创作者
使用步骤
- 描述要让爬虫开发参考接手的重复任务、输入从哪来、结果给谁用。
- 让 AI 把每一步、输入输出和失败处理写成流程。
- 用一份真实数据试跑一次。
- 补上失败重试和需要人工确认的节点。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 入门
- 版本
- 3.0.0
- 最近更新
- 2026-05-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations
使用前准备
- 相关平台的 API Key 或 Token
- 一份可以用来试跑的真实数据
- 爬虫开发参考的输入输出样例
依赖与权限
- 读取用户主动提供的内容