大模型效果评估
用自动指标、人工打分和大模型裁判三类方法衡量模型输出好坏
功能与用途
大模型应用改了提示词或换了模型之后,怎么证明它变好了而不是碰巧某几个例子答对了。这个技能给出完整的评估方法:文本生成用 BLEU、ROUGE、BERTScore,分类用准确率、F1、混淆矩阵,检索用 MRR、NDCG,再加人工标注的维度定义和评分一致性检验,以及用更强模型当裁判的单点评分和两两对比;还包括 A/B 测试的统计检验,用来在上线前发现效果回退。
适用场景
- 自动化指标批量打分:针对生成、分类或检索任务,运行 BLEU、ROUGE、BERTScore、F1 及 MRR 等算法快速获得客观基准分。
- 强模型作为裁判对比质量:调用更强模型对生成结果进行单点维度评分或双模型两两对比(Pairwise),输出优胜方与判定理由。
- 提示词调优与模型换代验证:在改动提示词或切换基座模型前后执行回归测试与统计检验,避免上线后效果隐性退化。
- 人工标注与事实一致性检验:结合事实准确度、有用性与安全性制定人工评审维度,或借助自然语言推理检测检索上下文幻觉。
适用人群
- 负责大模型应用质量保障的算法工程师、要做提示词版本对比的产品团队、负责 RAG 系统上线前验证的测试开发
使用步骤
- 先定清楚要评什么:是问答准确度、摘要质量还是检索排序效果
- 按场景挑指标:生成类用 BLEU、ROUGE、BERTScore,检索类用 MRR、NDCG
- 准备测试用例,跑自动评估拿到基线分数,必要时用更强模型做裁判或组织人工评分
- 做 A/B 对比并跑统计检验,确认差异显著后再决定上线或回退
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-09-13
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Master comprehensive evaluation strategies for LLM applications, from automated metrics to human evaluation and A/B testing.
使用前准备
- Python 环境,需要安装 nltk、rouge-score、bert-score、scikit-learn、scipy 等评估库
- 一个大模型接口用于做裁判评分,以及一份带参考答案的测试集
依赖与权限
- 读取用户主动提供的内容