AI Skill 大全

大模型评测与成绩对比

导入测试样本和预期答案,运行大模型评测并查看逐项成绩,比较模型表现或设置持续集成质量门槛。

功能与用途

适合需要验证大模型回答质量、比较候选模型或检查版本回归的团队。提供测试问题、预期答案和评分规则后,可创建评测集,对指定模型运行测试,在终端查看实时进度,并获得逐条结果与完整成绩单。支持精确匹配、包含判断、正则匹配和模型裁判评分,也可筛选失败样本、查看历史运行或取消任务。将同一评测集用于多个模型,可比较各自表现;结合脚本,还能把分数阈值接入持续集成。使用前需安装 OmniRoute 命令行程序,并准备可用模型与测试数据。

适用场景

  • 比较候选模型:用同一组测试问题评测多个候选模型,查看各自成绩和逐项结果,为模型选型提供依据。
  • 定位回答质量问题:筛选未通过的样本,对照输入、实际回答和预期答案,定位模型容易出错的问题。
  • 上线前质量回归:在持续集成中运行固定评测集,以分数阈值判断模型或应用更新是否满足上线要求。

适用人群

  • 大模型应用开发者
  • AI质量测试工程师
  • 模型选型负责人
  • 维护AI应用持续集成的工程师

使用步骤

  1. 安装 OmniRoute,确认目标模型可用。
  2. 准备测试输入、预期答案并选择评分规则。
  3. 创建评测集,指定模型启动评测。
  4. 查看实时进度,完成后读取成绩单和失败样本。
  5. 对比模型成绩,或将评分阈值接入持续集成。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Create and run evaluation suites, watch live benchmark progress, view scorecards, compare model performance, and integrate eval runs with CI workflows from the CLI.

使用前准备

  • 安装 OmniRoute 命令行程序;安装示例使用 npm 或 npx。
  • 准备可调用的模型及其模型标识。
  • 创建评测集时,准备包含 input 和 expected_output 字段的 JSONL 样本文件。
  • 接入持续集成时,需要能够运行命令行脚本的环境。

同类 Skill