AI Skill 大全

大模型效果评估

用自动指标、人工打分和大模型裁判三类方法衡量模型输出好坏

功能与用途

大模型应用改了提示词或换了模型之后,怎么证明它变好了而不是碰巧某几个例子答对了。这个技能给出完整的评估方法:文本生成用 BLEU、ROUGE、BERTScore,分类用准确率、F1、混淆矩阵,检索用 MRR、NDCG,再加人工标注的维度定义和评分一致性检验,以及用更强模型当裁判的单点评分和两两对比;还包括 A/B 测试的统计检验,用来在上线前发现效果回退。

适用场景

  • 自动化指标批量打分:针对生成、分类或检索任务,运行 BLEU、ROUGE、BERTScore、F1 及 MRR 等算法快速获得客观基准分。
  • 强模型作为裁判对比质量:调用更强模型对生成结果进行单点维度评分或双模型两两对比(Pairwise),输出优胜方与判定理由。
  • 提示词调优与模型换代验证:在改动提示词或切换基座模型前后执行回归测试与统计检验,避免上线后效果隐性退化。
  • 人工标注与事实一致性检验:结合事实准确度、有用性与安全性制定人工评审维度,或借助自然语言推理检测检索上下文幻觉。

适用人群

  • 负责大模型应用质量保障的算法工程师、要做提示词版本对比的产品团队、负责 RAG 系统上线前验证的测试开发

使用步骤

  1. 先定清楚要评什么:是问答准确度、摘要质量还是检索排序效果
  2. 按场景挑指标:生成类用 BLEU、ROUGE、BERTScore,检索类用 MRR、NDCG
  3. 准备测试用例,跑自动评估拿到基线分数,必要时用更强模型做裁判或组织人工评分
  4. 做 A/B 对比并跑统计检验,确认差异显著后再决定上线或回退

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-13
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Master comprehensive evaluation strategies for LLM applications, from automated metrics to human evaluation and A/B testing.

使用前准备

  • Python 环境,需要安装 nltk、rouge-score、bert-score、scikit-learn、scipy 等评估库
  • 一个大模型接口用于做裁判评分,以及一份带参考答案的测试集

依赖与权限

  • 读取用户主动提供的内容

同类 Skill