AI编程任务评测与回归验证
输入编程任务、成功标准和现有测试,定义并执行能力与回归评测,输出通过率、失败项及可靠性报告。
功能与用途
适用于检查 AI 编程任务是否达标,以及提示词、智能体或模型变更后是否影响原有能力。提供任务目标、预期输出、现有测试和可比较的代码版本,即可建立能力评测与回归评测,结合代码检查、模型评分或人工审查记录结果。通过多次尝试统计首次成功率、多次尝试内成功率及连续成功情况,得到评测定义、运行记录和汇总报告,便于比较变更前后的表现。使用时需要可访问的项目文件、可运行的测试环境,并能明确任务的验收标准。
适用场景
- 为新功能建立验收评测:开发注册登录功能前,定义正常流程、异常输入及会话保持标准,完成后逐项验证。
- 检查提示词变更是否退步:为编程智能体保留一组固定任务,对比提示词修改前后的通过率与失败项。
- 比较不同模型的任务表现:使用同一批编程任务多次运行评测,比较不同模型版本的成功率和稳定性。
- 验证代码变更的回归影响:以既有版本为基线,检查新增功能后登录、接口和会话管理等原有能力是否仍然通过。
适用人群
- 使用 Claude Code 的软件开发者
- 编程智能体开发者
- AI 应用测试工程师
- 负责模型选型的技术负责人
使用步骤
- 提供任务目标、预期输出和现有测试。
- 定义能力评测、回归评测及成功指标。
- 选择代码检查、模型评分或人工审查方式。
- 执行评测并记录每次尝试的通过与失败结果。
- 生成报告,对比基线并定位未达标项目。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- dfbf946
- 最近更新
- 2026-11-12
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
为 Claude Code 会话提供的正式评测框架,实现了评测驱动开发(EDD)原则
使用前准备
- 能够在 Claude Code 中访问项目文件并执行测试命令。
- 准备任务目标、预期输出和明确的通过或失败标准。
- 开展回归对比时,需要已有测试和可比较的基线版本。