AI Skill 大全

大模型评测集基准测试

导入测试样本并配置评分规则,通过命令行对不同大模型批量跑测并输出详细成绩单与准确率报告。

功能与用途

该能力基于 OmniRoute 命令行工具,帮助开发者与算法工程师系统化评测大语言模型的表现。用户可以通过 JSONL 文件定义输入与期望输出,选择精准匹配(exact-match)、包含匹配(contains)、正则匹配(regex)或大模型裁判(llm-judge)等评分准则;支持实时终端监控、异步任务查询、多模型横向评分对比,以及将评测流程集成进 CI/CD 自动化流水线中以实现回归质检。

适用场景

  • 多大模型基准表现横向对比:基于同一份测试样本跑测多个候选模型,输出包含准确率与单项得分的成绩单以辅助选型。
  • CI/CD 流水线自动化回归质检:将评测命令集成进代码提交或发版流程,当大模型输出准确率低于设定阈值时自动拦截告警。
  • 复杂任务判定规则构建与调试:针对开放式问答配置大模型裁判或正则规则,实时监控评测进度并定位未通过样本的判定偏差。

适用人群

  • AI应用开发者
  • LLM提示词工程师
  • 算法工程师
  • DevOps测试工程师

使用步骤

  1. 准备包含 input 与 expected_output 字段的 JSONL 测试样本文件
  2. 执行 omniroute eval suites create 创建测试集并指定评分规则(如 llm-judge 或 exact-match)
  3. 执行 omniroute eval suites run 指定模型并运行评测,可通过 --watch 参数观察实时进度
  4. 运行结束后使用 omniroute eval scorecard 查看样本得分与失败用例明细

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Create and run evaluation suites, watch live benchmark progress, view scorecards, compare model performance, and integrate eval runs with CI workflows from the CLI.

依赖与权限

  • 读取用户主动提供的内容

同类 Skill