AI Skill 大全

爬虫开发参考

提供网页抓取、解析、限速和错误处理的开发方法。

功能与用途

提供网页抓取、解析、限速和错误处理的开发方法。你可以这样用:用大白话描述你想用它实现的效果,不用自己写代码;AI给出它能直接运行的代码或操作步骤;把报错贴给AI,它会定位它的问题并修好。适合职场用户、个人用户、内容创作者。

适用场景

  • 爬虫架构与技术选型:查阅 Scrapy、Playwright 等工具选型指引,规划高并发、增量抓取与分布式存储方案。
  • 反爬与动态渲染应对:排查反爬虫阻拦、JS 动态渲染及字符编码乱码问题,获取代理轮换与无头浏览器配置参考。
  • 爬虫合规与协议遵循:核对 robots.txt 规范、抓取限速与道德法律边界,确保数据抓取流程符合行业合规标准。

适用人群

  • 职场用户
  • 个人用户
  • 内容创作者

使用步骤

  1. 描述要让爬虫开发参考接手的重复任务、输入从哪来、结果给谁用。
  2. 让 AI 把每一步、输入输出和失败处理写成流程。
  3. 用一份真实数据试跑一次。
  4. 补上失败重试和需要人工确认的节点。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
入门
版本
3.0.0
最近更新
2026-05-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations

使用前准备

  • 相关平台的 API Key 或 Token
  • 一份可以用来试跑的真实数据
  • 爬虫开发参考的输入输出样例

依赖与权限

  • 读取用户主动提供的内容

同类 Skill