Archestra评测轨迹诊断
读取已完成的Archestra评测记录,逐条诊断并核对仓库代码,生成附代码位置的分层改进报告。
功能与用途
适用于已完成的Archestra基准评测。提供运行结果目录后,它会汇总通过率、逐条分析智能体执行轨迹,识别失败原因、评分异常及共性问题,再结合仓库代码和后端日志核实证据。最终输出逐条分析文档、结构化评分文件和改进报告,将平台侧问题与评测侧问题分层列出,并标注相关代码位置。使用前需具备完整评测记录、对应源码,以及支持Claude子代理和Workflow的运行环境。
适用场景
- 定位评测失败原因:分析一次运行中的失败轨迹,结合源码和日志找到共性问题及相关代码位置。
- 排查评分异常:检查轨迹中的评分表现和奖励投机迹象,识别可能影响评测可信度的问题。
- 制定平台与评测改进清单:将诊断结果分为平台侧与评测侧建议,为后续修复和评测维护提供依据。
适用人群
- Archestra平台开发者
- 智能体评测工程师
- 负责评测质量的测试工程师
使用步骤
- 提供已完成的评测目录,或使用默认最新运行。
- 生成指标、轨迹清单和逐条分析输入。
- 并行分析轨迹,校验并汇总评分结果。
- 结合源码和日志核实问题,生成分层建议。
- 查看分析文档、评分文件和最终报告。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 9
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Map-reduce a finished archestra-bench run into a Tier-1/Tier-2 improvement report using Claude subagents (same analysis as the Rust analyzer, no API key).
使用前准备
- 已完成的 archestra-bench 运行结果及其轨迹文件。
- 可访问对应的 Archestra 源码仓库和运行日志。
- 可运行 archestra-bench prepare、Node.js及配套脚本的环境。
- 支持 Claude 子代理与原生 Workflow 的执行环境。
依赖与权限
- ANALYSES_DOC_PATH