代码图谱检索基准测试
接收指定的代码库、测试问题与 CodeGraph 版本,自动运行有无代码图谱辅助的 Agent 对比测试并生成耗时、Token 开销及工具调用指标报告。
功能与用途
该能力专用于评估 CodeGraph 代码图谱索引对 AI Agent 任务解决效率的实际提升。它通过驱动测试框架,在真实的开源代码仓库上针对预设开发问题,分别以「启用 CodeGraph」与「仅使用原生 Grep/Read」两种模式运行 Agent,自动记录并比对调用耗时、API Token 成本、文件读取次数以及探索充分性等指标,帮助开发者量化图谱检索在代码定位和推理中的提效与降本成果。
适用场景
- 版本发布回归评测:在发版前运行自动化基准测试,比对本地开发构建与线上版本在标准语料库上的索引质量与召回稳定性。
- 图谱索引效能量化对比:在真实代码库上执行有无图谱辅助的 A/B 对比测试,统计 Token 消耗、文件读取次数与任务耗时变化。
- 跨语言检索表现审计:针对多门编程语言的开源仓库批量执行基准用例,排查特定语言在复杂依赖解析与代码检索中的短板。
适用人群
- AI Agent 框架与工具开发者
- CodeGraph 贡献者与维护者
- 关注代码辅助推理成本与准确率的架构师
使用步骤
- 指定测试版本:选择本地开发构建版(local)、最新发布版(latest)或指定版本号
- 选定语言与目标代码库:读取语料配置 corpus.json,选择待测试的编程语言及对应规模的代码仓库与验证问题
- 选择评测运行模式:选择无头模式(headless)、tmux 交互模式或双模式全量运行
- 后台触发测试脚本:执行 audit.sh 脚本,自动克隆目标仓库、重构索引并并行/串行运行对比试验
- 输出审计对比报告:读取运行日志,呈现包含工具调用数、文件 Read 次数、Token 消耗、费用开销及指标对比表格
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
依赖与权限
- 读取用户主动提供的内容