AI Skill 大全

Robots.txt 配置

审计或生成 robots.txt 全文件,给合规清单与参考(Google robots.txt 规范),控制爬虫抓取。

功能与用途

一个 robots.txt 配置能力。审计时给当前状态,给出推荐的完整 robots.txt 文件,附合规清单与参考(Google robots.txt 创建文档)。用于网站抓取控制——决定哪些路径允许/禁止爬虫。适合做 SEO 或站点维护的人。

适用场景

  • 拦截 AI 模型训练爬虫:在保留搜索引擎与 AI 检索访问的前提下,针对 GPTBot、CCBot 等训练爬虫配置屏蔽规则,保护原创数据。
  • 抓取规则审计与误封排查:检查现有 robots.txt 是否误拦截 CSS、JS 等渲染资源或 noindex 页面,排查并修复搜索引擎抓取异常。
  • 后台与测试路径抓取控制:为管理后台、API 接口及临时测试路径设置 Disallow 规则,并规范声明 Sitemap 绝对路径引导爬虫。

适用人群

  • 站长
  • SEO
  • 开发者

使用步骤

  1. (审计)给当前状态。
  2. 生成推荐完整 robots.txt。
  3. 附合规清单与 Google 参考。
  4. 落地并验证抓取行为。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
简单
版本
main
最近更新
2026-09-09
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

使用前准备

  • 站点结构或现有 robots.txt
  • 抓取策略(允许/禁止路径)

依赖与权限

  • 读取用户主动提供的内容

同类 Skill