AI Skill 大全

评测指标包设计

给 plugin-eval 定制本地评测指标包和检查项

功能与用途

当你想给 plugin-eval 加上自己团队的评测标准时用它。它会先问清你要的评分维度和类型,然后定义一个最小的 checks 和 metrics 输出结构,写成指标包清单加一个会打印 JSON 的脚本,最后用 plugin-eval 命令跑通验证。

适用场景

  • 团队自研评测标准定制:根据业务需求设计专属评分规则,输出兼容 plugin-eval 结构的检查项与指标。
  • 指标包本地联调与验证:编写输出标准 JSON 的评测脚本与清单文件,并通过命令行执行离线跑通。

适用人群

  • AI 应用评测工程师
  • 负责搭建插件/模型评测体系的研发
  • 平台侧的工具链维护者

使用步骤

  1. 先想清楚你要评什么维度、对应哪类目标对象
  2. 定义最小可用的 checks[] 和 metrics[] 内容
  3. 生成指标包 manifest 和输出 JSON 的脚本
  4. 用 `plugin-eval analyze <path> --metric-pack <manifest.json>` 跑一遍验证

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-18
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Design custom metric packs for plugin-eval so teams can add local evaluation rubrics that emit schema-compatible checks and metrics. Use when the user wants their own evaluation criteria or visualizations.

使用前准备

  • 已有 plugin-eval 环境
  • 能写脚本输出 JSON
  • 了解该工具的指标包清单格式(参考 metric-pack-manifest.md)

依赖与权限

  • 读取用户主动提供的内容

同类 Skill