AI Skill 大全

抓取可达性检查

网站抓取可达性

功能与用途

检查网站被搜索引擎/AI 爬虫抓取的可达性问题:重定向链路与循环、4xx 死链、站点结构(孤儿页/层级)、分页可抓取实现、以及若做 GEO/AI 可见性时的 SSR/URL/重定向检查,给出原因与修复建议。

适用场景

  • 诊断与修复重定向和死链:识别网站内部的多跳重定向链、循环重定向及 4xx 错误链接,提供直链修正和 301 重定向建议,避免抓取预算浪费。
  • 优化深层结构与孤儿页面:检查站点层级深度,确保关键内容在首页 3-4 次点击内可达,并通过内链布局消除无反向链接的孤儿页面。
  • 改造无限滚动与动态分页:针对爬虫无法执行 JS 滚动的问题,提供兼容 SEO 的独立 URL 分页方案,确保分页列表与深度内容能被完全收录。
  • AI 搜索爬虫可达性优化:针对 GPTBot 等不支持客户端渲染的 AI 爬虫,检查初始 HTML 内容是否完备,排查 SSR 缺失及失效 URL。

适用人群

  • SEO
  • 站长
  • 技术运营

使用步骤

  1. 给要分析的站点
  2. AI 说结论再给依据
  3. 查不确定处数据
  4. 转成行动项

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
简单
版本
main
最近更新
2026-09-09
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

使用前准备

  • 站点地址或抓取数据
  • 判断标准

依赖与权限

  • 读取用户主动提供的内容

同类 Skill