大模型评测与成绩对比
导入测试样本和预期答案,运行大模型评测并查看逐项成绩,比较模型表现或设置持续集成质量门槛。
功能与用途
适合需要验证大模型回答质量、比较候选模型或检查版本回归的团队。提供测试问题、预期答案和评分规则后,可创建评测集,对指定模型运行测试,在终端查看实时进度,并获得逐条结果与完整成绩单。支持精确匹配、包含判断、正则匹配和模型裁判评分,也可筛选失败样本、查看历史运行或取消任务。将同一评测集用于多个模型,可比较各自表现;结合脚本,还能把分数阈值接入持续集成。使用前需安装 OmniRoute 命令行程序,并准备可用模型与测试数据。
适用场景
- 比较候选模型:用同一组测试问题评测多个候选模型,查看各自成绩和逐项结果,为模型选型提供依据。
- 定位回答质量问题:筛选未通过的样本,对照输入、实际回答和预期答案,定位模型容易出错的问题。
- 上线前质量回归:在持续集成中运行固定评测集,以分数阈值判断模型或应用更新是否满足上线要求。
适用人群
- 大模型应用开发者
- AI质量测试工程师
- 模型选型负责人
- 维护AI应用持续集成的工程师
使用步骤
- 安装 OmniRoute,确认目标模型可用。
- 准备测试输入、预期答案并选择评分规则。
- 创建评测集,指定模型启动评测。
- 查看实时进度,完成后读取成绩单和失败样本。
- 对比模型成绩,或将评分阈值接入持续集成。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Create and run evaluation suites, watch live benchmark progress, view scorecards, compare model performance, and integrate eval runs with CI workflows from the CLI.
使用前准备
- 安装 OmniRoute 命令行程序;安装示例使用 npm 或 npx。
- 准备可调用的模型及其模型标识。
- 创建评测集时,准备包含 input 和 expected_output 字段的 JSONL 样本文件。
- 接入持续集成时,需要能够运行命令行脚本的环境。