AI Skill 大全

编程Agent基准评测

通过声明式YAML任务和Git工作区隔离,在真实项目上横向评测多种编程智能体的测试通过率、调用成本与执行耗时,输出量化对比报告。

功能与用途

该能力提供了一套系统化的AI代码智能体基准评测方案,用于替代主观凭感觉评估编程工具的做法。用户可以通过YAML文件定义具体的编码任务、限定修改文件以及判定条件(如pytest单元测试、正则匹配或LLM评审)。系统会自动利用Git Worktree为每次运行创建隔离的代码副本,无需Docker即可并发或多次独立执行Claude Code、Aider等不同智能体,最后汇总统计通过率、单次花费、响应时间和多次运行的一致性表现,帮助开发者与团队做出客观的数据驱动选型决策。

适用场景

  • 团队编程工具选型对比:在引入 Claude Code、Aider 等工具前,在私有代码库中横向评测其测试通过率、成本与耗时,输出数据支持的技术选型报告。
  • 模型与工具链升级回归:当底层大模型升级或 Agent 提示词、依赖工具链变更时,批量运行基准评测任务,检测代码生成质量是否存在性能回退。
  • 智能体稳定性与成本测试:针对高频或核心开发任务设定多次重复运行,度量智能体多次执行的成功一致性与 API 消耗费用,避免高偶发失败与超额支出。

适用人群

  • 技术团队架构师
  • AI工程化研发人员
  • 追求开发效率的资深程序员
  • 开发者工具评测博主

使用步骤

  1. 在 tasks/ 目录下编写 YAML 格式的任务定义,指定代码仓库、待修改文件、提示词和校验判定规则(如 pytest 或 grep)。
  2. 运行 agent-eval run 命令,指定任务文件、待对比的智能体名称以及重复测试轮次。
  3. 运行 agent-eval report 命令,查看汇总了通过率(Pass Rate)、成本(Cost)、耗时(Time)和稳定性(Consistency)的对比表格。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Head-to-head comparison of coding agents (Claude Code, Aider, Codex, etc.) on custom tasks with pass rate, cost, time, and consistency metrics. Use when choosing between coding agents, or when a change to an agent setup needs measured pass rate, cost, and time rather than an impression.

依赖与权限

  • 读取用户主动提供的内容

同类 Skill