基准跑分差异分析
给出同一条基准任务在两个 harbor 运行下的名字,逐个对比 reward、耗时和 token,并读轨迹与验证器输出解释两者结果为何不同。
功能与用途
同一个基准任务,两个 agent 运行的得分不一样,光看总分数字看不出原因。这个技能会先在磁盘上定位两次运行各自的 trial 目录,拉出 reward、耗时、token、成本和错误类型,再读任务说明、测试断言、参考解法和两份 agent 轨迹,定位到底是谁读错了题意、谁踩了浅层 bug、谁只是超时,最后产出一份按「A 做了什么 / B 做了什么 / 为什么结果不同」组织的对比报告。它需要你本机已经有 harbor 的运行结果和任务缓存。
适用场景
- 换了新模型跑同一套基准,某条任务从通过变成失败,需要搞清楚是:换了新模型跑同一套基准,某条任务从通过变成失败,需要搞清楚是模型退化还是评测环境变了
- 两条流水线跑同一任务分数差很多,想知道差异来自 agent :两条流水线跑同一任务分数差很多,想知道差异来自 agent 行为还是 verifier 判定标准
- 要给团队汇报评测结果,需要的不只是分数表,而是每个失败案例的:要给团队汇报评测结果,需要的不只是分数表,而是每个失败案例的具体失败原因
适用人群
- 做 agent 基准评测的工程师
- 维护评测跑分流水线的平台开发
- 需要定位模型跑分差异的研究人员
使用步骤
- 在 runs 目录下按任务名加随机后缀的规则,定位两个运行各自的 trial 目录,确认这条任务确实都在里面
- 用 harbor 的命令行工具拉出两次运行的头条数据:状态、reward、耗时、token、成本和错误类型
- 去任务缓存里读任务说明、测试断言和参考解法,缺少任一份都无法判断失败性质
- 分别读两个 agent 的轨迹和 verifier 输出,按读错题意、浅层 bug、超时、跑偏、评测器意外分类失败模式
- 按固定结构写出对比报告:谁赢多少、各自做了什么、差异的真实机制,并原样引用失败的那条断言
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-13
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Compare how two harbor benchmark runs performed on a single shared task
使用前准备
- 需要本机已有 harbor 运行结果与任务缓存,并具备 bash 与 jq 环境
- 任务未下载到本机时无法完成分析。
依赖与权限
- 读取用户主动提供的内容