AI Skill 大全

AI技能评测配置生成器

输入待测技能定义与失败判例,自动生成符合Vally规范的eval.yaml评测配置与防过拟合评分规则。

功能与用途

用于在 dotnet/skills 体系下为 AI Agent 技能或智能体构建标准化的质量评测规范(eval.yaml)。用户提供目标技能或智能体定义及关键测试场景,该工具即可协助规划符合统计效力门槛(至少5个独立刺激用例)的测试集、配置环境夹具、定义确定性评分器(graders)与无偏向评分规则(rubrics),并规避过度拟合与配置冲突等缺陷。

适用场景

  • 新建技能基准评测:为新编写的技能创建全套 eval.yaml,定义多组独立输入刺激与断言规则。
  • 休眠边界防护测试:编写无关或越界请求用例,确保技能在非目标场景下保持休眠不被误触发。
  • 修复测试统计效力:针对样本量不足的已有评测补充有效刺激样本,满足符号检验通过门槛。

适用人群

  • AI Agent 开发者
  • Prompt 评测工程师
  • dotnet/skills 开源贡献者
  • LLM 应用质量保证工程师

使用步骤

  1. 定位目标技能或智能体的定义文件并阅读其功能边界
  2. 设计至少5个涵盖典型与边界场景的独立请求提示词
  3. 配置对应测试夹具文件并在 Git 中完成追踪
  4. 定义客观评分器(如正则、文件存在性)与结果导向的评分规则
  5. 运行 check_eval_quality.py 与验证工具确保格式与效力达标

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-30
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Scaffolds eval.yaml evaluation specs for agent skills in the dotnet/skills repository. Use when creating skill tests, writing evaluation stimuli, defining graders and rubrics, sizing an eval for statistical power, or setting up test fixture files. Handles the Vally eval.yaml schema, fixture organization, and overfitting avoidance. Do not use for running or debugging existing evals (use improve-skill-quality) nor for skills authoring (use create-skill).

同类 Skill