评测指标包设计
给 plugin-eval 定制本地评测指标包和检查项
功能与用途
当你想给 plugin-eval 加上自己团队的评测标准时用它。它会先问清你要的评分维度和类型,然后定义一个最小的 checks 和 metrics 输出结构,写成指标包清单加一个会打印 JSON 的脚本,最后用 plugin-eval 命令跑通验证。
适用场景
- 团队自研评测标准定制:根据业务需求设计专属评分规则,输出兼容 plugin-eval 结构的检查项与指标。
- 指标包本地联调与验证:编写输出标准 JSON 的评测脚本与清单文件,并通过命令行执行离线跑通。
适用人群
- AI 应用评测工程师
- 负责搭建插件/模型评测体系的研发
- 平台侧的工具链维护者
使用步骤
- 先想清楚你要评什么维度、对应哪类目标对象
- 定义最小可用的 checks[] 和 metrics[] 内容
- 生成指标包 manifest 和输出 JSON 的脚本
- 用 `plugin-eval analyze <path> --metric-pack <manifest.json>` 跑一遍验证
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-09-18
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Design custom metric packs for plugin-eval so teams can add local evaluation rubrics that emit schema-compatible checks and metrics. Use when the user wants their own evaluation criteria or visualizations.
使用前准备
- 已有 plugin-eval 环境
- 能写脚本输出 JSON
- 了解该工具的指标包清单格式(参考 metric-pack-manifest.md)
依赖与权限
- 读取用户主动提供的内容