编程Agent基准评测
通过声明式YAML任务和Git工作区隔离,在真实项目上横向评测多种编程智能体的测试通过率、调用成本与执行耗时,输出量化对比报告。
功能与用途
该能力提供了一套系统化的AI代码智能体基准评测方案,用于替代主观凭感觉评估编程工具的做法。用户可以通过YAML文件定义具体的编码任务、限定修改文件以及判定条件(如pytest单元测试、正则匹配或LLM评审)。系统会自动利用Git Worktree为每次运行创建隔离的代码副本,无需Docker即可并发或多次独立执行Claude Code、Aider等不同智能体,最后汇总统计通过率、单次花费、响应时间和多次运行的一致性表现,帮助开发者与团队做出客观的数据驱动选型决策。
适用场景
- 团队编程工具选型对比:在引入 Claude Code、Aider 等工具前,在私有代码库中横向评测其测试通过率、成本与耗时,输出数据支持的技术选型报告。
- 模型与工具链升级回归:当底层大模型升级或 Agent 提示词、依赖工具链变更时,批量运行基准评测任务,检测代码生成质量是否存在性能回退。
- 智能体稳定性与成本测试:针对高频或核心开发任务设定多次重复运行,度量智能体多次执行的成功一致性与 API 消耗费用,避免高偶发失败与超额支出。
适用人群
- 技术团队架构师
- AI工程化研发人员
- 追求开发效率的资深程序员
- 开发者工具评测博主
使用步骤
- 在 tasks/ 目录下编写 YAML 格式的任务定义,指定代码仓库、待修改文件、提示词和校验判定规则(如 pytest 或 grep)。
- 运行 agent-eval run 命令,指定任务文件、待对比的智能体名称以及重复测试轮次。
- 运行 agent-eval report 命令,查看汇总了通过率(Pass Rate)、成本(Cost)、耗时(Time)和稳定性(Consistency)的对比表格。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Head-to-head comparison of coding agents (Claude Code, Aider, Codex, etc.) on custom tasks with pass rate, cost, time, and consistency metrics. Use when choosing between coding agents, or when a change to an agent setup needs measured pass rate, cost, and time rather than an impression.
依赖与权限
- 读取用户主动提供的内容