Robots.txt 配置
审计或生成 robots.txt 全文件,给合规清单与参考(Google robots.txt 规范),控制爬虫抓取。
功能与用途
一个 robots.txt 配置能力。审计时给当前状态,给出推荐的完整 robots.txt 文件,附合规清单与参考(Google robots.txt 创建文档)。用于网站抓取控制——决定哪些路径允许/禁止爬虫。适合做 SEO 或站点维护的人。
适用场景
- 拦截 AI 模型训练爬虫:在保留搜索引擎与 AI 检索访问的前提下,针对 GPTBot、CCBot 等训练爬虫配置屏蔽规则,保护原创数据。
- 抓取规则审计与误封排查:检查现有 robots.txt 是否误拦截 CSS、JS 等渲染资源或 noindex 页面,排查并修复搜索引擎抓取异常。
- 后台与测试路径抓取控制:为管理后台、API 接口及临时测试路径设置 Disallow 规则,并规范声明 Sitemap 绝对路径引导爬虫。
适用人群
- 站长
- SEO
- 开发者
使用步骤
- (审计)给当前状态。
- 生成推荐完整 robots.txt。
- 附合规清单与 Google 参考。
- 落地并验证抓取行为。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 简单
- 版本
- main
- 最近更新
- 2026-09-09
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
使用前准备
- 站点结构或现有 robots.txt
- 抓取策略(允许/禁止路径)
依赖与权限
- 读取用户主动提供的内容