AI Skill 大全

基准跑分差异分析

给出同一条基准任务在两个 harbor 运行下的名字,逐个对比 reward、耗时和 token,并读轨迹与验证器输出解释两者结果为何不同。

功能与用途

同一个基准任务,两个 agent 运行的得分不一样,光看总分数字看不出原因。这个技能会先在磁盘上定位两次运行各自的 trial 目录,拉出 reward、耗时、token、成本和错误类型,再读任务说明、测试断言、参考解法和两份 agent 轨迹,定位到底是谁读错了题意、谁踩了浅层 bug、谁只是超时,最后产出一份按「A 做了什么 / B 做了什么 / 为什么结果不同」组织的对比报告。它需要你本机已经有 harbor 的运行结果和任务缓存。

适用场景

  • 换了新模型跑同一套基准,某条任务从通过变成失败,需要搞清楚是:换了新模型跑同一套基准,某条任务从通过变成失败,需要搞清楚是模型退化还是评测环境变了
  • 两条流水线跑同一任务分数差很多,想知道差异来自 agent :两条流水线跑同一任务分数差很多,想知道差异来自 agent 行为还是 verifier 判定标准
  • 要给团队汇报评测结果,需要的不只是分数表,而是每个失败案例的:要给团队汇报评测结果,需要的不只是分数表,而是每个失败案例的具体失败原因

适用人群

  • 做 agent 基准评测的工程师
  • 维护评测跑分流水线的平台开发
  • 需要定位模型跑分差异的研究人员

使用步骤

  1. 在 runs 目录下按任务名加随机后缀的规则,定位两个运行各自的 trial 目录,确认这条任务确实都在里面
  2. 用 harbor 的命令行工具拉出两次运行的头条数据:状态、reward、耗时、token、成本和错误类型
  3. 去任务缓存里读任务说明、测试断言和参考解法,缺少任一份都无法判断失败性质
  4. 分别读两个 agent 的轨迹和 verifier 输出,按读错题意、浅层 bug、超时、跑偏、评测器意外分类失败模式
  5. 按固定结构写出对比报告:谁赢多少、各自做了什么、差异的真实机制,并原样引用失败的那条断言

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-13
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Compare how two harbor benchmark runs performed on a single shared task

使用前准备

  • 需要本机已有 harbor 运行结果与任务缓存,并具备 bash 与 jq 环境
  • 任务未下载到本机时无法完成分析。

依赖与权限

  • 读取用户主动提供的内容

同类 Skill