抓取可达性检查
网站抓取可达性
功能与用途
检查网站被搜索引擎/AI 爬虫抓取的可达性问题:重定向链路与循环、4xx 死链、站点结构(孤儿页/层级)、分页可抓取实现、以及若做 GEO/AI 可见性时的 SSR/URL/重定向检查,给出原因与修复建议。
适用场景
- 诊断与修复重定向和死链:识别网站内部的多跳重定向链、循环重定向及 4xx 错误链接,提供直链修正和 301 重定向建议,避免抓取预算浪费。
- 优化深层结构与孤儿页面:检查站点层级深度,确保关键内容在首页 3-4 次点击内可达,并通过内链布局消除无反向链接的孤儿页面。
- 改造无限滚动与动态分页:针对爬虫无法执行 JS 滚动的问题,提供兼容 SEO 的独立 URL 分页方案,确保分页列表与深度内容能被完全收录。
- AI 搜索爬虫可达性优化:针对 GPTBot 等不支持客户端渲染的 AI 爬虫,检查初始 HTML 内容是否完备,排查 SSR 缺失及失效 URL。
适用人群
- SEO
- 站长
- 技术运营
使用步骤
- 给要分析的站点
- AI 说结论再给依据
- 查不确定处数据
- 转成行动项
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 简单
- 版本
- main
- 最近更新
- 2026-09-09
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
使用前准备
- 站点地址或抓取数据
- 判断标准
依赖与权限
- 读取用户主动提供的内容