大模型评测集基准测试
导入测试样本并配置评分规则,通过命令行对不同大模型批量跑测并输出详细成绩单与准确率报告。
功能与用途
该能力基于 OmniRoute 命令行工具,帮助开发者与算法工程师系统化评测大语言模型的表现。用户可以通过 JSONL 文件定义输入与期望输出,选择精准匹配(exact-match)、包含匹配(contains)、正则匹配(regex)或大模型裁判(llm-judge)等评分准则;支持实时终端监控、异步任务查询、多模型横向评分对比,以及将评测流程集成进 CI/CD 自动化流水线中以实现回归质检。
适用场景
- 多大模型基准表现横向对比:基于同一份测试样本跑测多个候选模型,输出包含准确率与单项得分的成绩单以辅助选型。
- CI/CD 流水线自动化回归质检:将评测命令集成进代码提交或发版流程,当大模型输出准确率低于设定阈值时自动拦截告警。
- 复杂任务判定规则构建与调试:针对开放式问答配置大模型裁判或正则规则,实时监控评测进度并定位未通过样本的判定偏差。
适用人群
- AI应用开发者
- LLM提示词工程师
- 算法工程师
- DevOps测试工程师
使用步骤
- 准备包含 input 与 expected_output 字段的 JSONL 测试样本文件
- 执行 omniroute eval suites create 创建测试集并指定评分规则(如 llm-judge 或 exact-match)
- 执行 omniroute eval suites run 指定模型并运行评测,可通过 --watch 参数观察实时进度
- 运行结束后使用 omniroute eval scorecard 查看样本得分与失败用例明细
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Create and run evaluation suites, watch live benchmark progress, view scorecards, compare model performance, and integrate eval runs with CI workflows from the CLI.
依赖与权限
- 读取用户主动提供的内容