AI Skill 大全

AI编程任务评测与回归验证

输入编程任务、成功标准和现有测试,定义并执行能力与回归评测,输出通过率、失败项及可靠性报告。

功能与用途

适用于检查 AI 编程任务是否达标,以及提示词、智能体或模型变更后是否影响原有能力。提供任务目标、预期输出、现有测试和可比较的代码版本,即可建立能力评测与回归评测,结合代码检查、模型评分或人工审查记录结果。通过多次尝试统计首次成功率、多次尝试内成功率及连续成功情况,得到评测定义、运行记录和汇总报告,便于比较变更前后的表现。使用时需要可访问的项目文件、可运行的测试环境,并能明确任务的验收标准。

适用场景

  • 为新功能建立验收评测:开发注册登录功能前,定义正常流程、异常输入及会话保持标准,完成后逐项验证。
  • 检查提示词变更是否退步:为编程智能体保留一组固定任务,对比提示词修改前后的通过率与失败项。
  • 比较不同模型的任务表现:使用同一批编程任务多次运行评测,比较不同模型版本的成功率和稳定性。
  • 验证代码变更的回归影响:以既有版本为基线,检查新增功能后登录、接口和会话管理等原有能力是否仍然通过。

适用人群

  • 使用 Claude Code 的软件开发者
  • 编程智能体开发者
  • AI 应用测试工程师
  • 负责模型选型的技术负责人

使用步骤

  1. 提供任务目标、预期输出和现有测试。
  2. 定义能力评测、回归评测及成功指标。
  3. 选择代码检查、模型评分或人工审查方式。
  4. 执行评测并记录每次尝试的通过与失败结果。
  5. 生成报告,对比基线并定位未达标项目。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
dfbf946
最近更新
2026-11-12
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

为 Claude Code 会话提供的正式评测框架,实现了评测驱动开发(EDD)原则

使用前准备

  • 能够在 Claude Code 中访问项目文件并执行测试命令。
  • 准备任务目标、预期输出和明确的通过或失败标准。
  • 开展回归对比时,需要已有测试和可比较的基线版本。

同类 Skill