AI Skill 大全

大模型输出错误发现与归类

导入大模型输出或运行记录,搭建审阅页面并抽取多样样本,将人工批注整理为可追踪的错误类型。

功能与用途

适合已有大模型输出或智能体运行记录、准备建立业务评测的团队。提供 JSONL、CSV 或 JSON 数据后,它会识别内容结构,搭建可阅读、划线批注和自动保存的审阅页面,并结合聚类与随机抽样挑选多样样本。你阅读样本并写下问题,系统将批注整理成错误类型,展示审阅进度,并补充样本以覆盖遗漏的问题。最终得到审阅页面、批注记录和错误分类,为后续编写评测提供依据。完整流程需要人工参与交互审阅。

适用场景

  • 客服对话问题归类:导入客服问答记录,抽取不同类型的对话,人工批注后整理答非所问、遗漏信息等错误。
  • 智能体执行失败排查:审阅包含工具调用与返回结果的运行记录,定位出错环节,并将相似问题归为同类。
  • 建立业务评测前的问题盘点:从摘要、代码或结构化输出中挑选多样样本,积累具体错误案例,为编写评测确定检查对象。

适用人群

  • 大模型应用开发者
  • AI评测工程师
  • 智能体产品负责人
  • 对话系统质量分析师

使用步骤

  1. 提供数据文件,说明业务任务和重点关注的问题。
  2. 让系统识别数据结构并生成审阅页面。
  3. 打开页面,阅读抽取的样本并划线批注。
  4. 检查错误归类,接受或驳回系统提出的批注建议。
  5. 继续审阅补充样本,保存批注与错误分类。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
5
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Run error analysis on a dataset. Build a review UI, select diverse samples, monitor annotations, and organize failure modes.

使用前准备

  • 准备包含大模型输出或运行记录的 JSONL、CSV 或 JSON 数据文件。
  • 使用能够读取本地文件、生成代码并启动 Python 服务的 AI 编程环境。
  • 安排熟悉业务的人使用浏览器审阅样本,并填写自由文本批注。

同类 Skill