AI Skill 大全

Archestra评测轨迹诊断

读取已完成的Archestra评测记录,逐条诊断并核对仓库代码,生成附代码位置的分层改进报告。

功能与用途

适用于已完成的Archestra基准评测。提供运行结果目录后,它会汇总通过率、逐条分析智能体执行轨迹,识别失败原因、评分异常及共性问题,再结合仓库代码和后端日志核实证据。最终输出逐条分析文档、结构化评分文件和改进报告,将平台侧问题与评测侧问题分层列出,并标注相关代码位置。使用前需具备完整评测记录、对应源码,以及支持Claude子代理和Workflow的运行环境。

适用场景

  • 定位评测失败原因:分析一次运行中的失败轨迹,结合源码和日志找到共性问题及相关代码位置。
  • 排查评分异常:检查轨迹中的评分表现和奖励投机迹象,识别可能影响评测可信度的问题。
  • 制定平台与评测改进清单:将诊断结果分为平台侧与评测侧建议,为后续修复和评测维护提供依据。

适用人群

  • Archestra平台开发者
  • 智能体评测工程师
  • 负责评测质量的测试工程师

使用步骤

  1. 提供已完成的评测目录,或使用默认最新运行。
  2. 生成指标、轨迹清单和逐条分析输入。
  3. 并行分析轨迹,校验并汇总评分结果。
  4. 结合源码和日志核实问题,生成分层建议。
  5. 查看分析文档、评分文件和最终报告。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
专业
版本
main
最近更新
2026-11-03
文件数
9
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Map-reduce a finished archestra-bench run into a Tier-1/Tier-2 improvement report using Claude subagents (same analysis as the Rust analyzer, no API key).

使用前准备

  • 已完成的 archestra-bench 运行结果及其轨迹文件。
  • 可访问对应的 Archestra 源码仓库和运行日志。
  • 可运行 archestra-bench prepare、Node.js及配套脚本的环境。
  • 支持 Claude 子代理与原生 Workflow 的执行环境。

依赖与权限

  • ANALYSES_DOC_PATH

同类 Skill