AI Skill 大全

LLM轨迹标注界面搭建

提供JSON或CSV格式的模型调用轨迹,生成可浏览、可判定并自动保存标签与备注的人工评审界面。

功能与用途

用于搭建针对自有数据的浏览器标注界面,供评审人员逐条检查大语言模型的调用轨迹并记录结构化反馈。输入通常是JSON或CSV格式的轨迹数据;界面可展示完整对话、工具调用及相关元数据,支持通过、未通过或暂缓判定,填写备注并自动保存标注结果。还可按需要加入参考答案、过滤条件和轨迹分组。适合需要人工审核模型输出或收集评测标签的团队,需能提供轨迹数据及其字段结构。

适用场景

  • 审核模型对话质量:导入对话轨迹,逐条判断回答是否通过,并记录错误原因与评审备注。
  • 检查工具调用过程:查看模型的中间步骤和工具响应,标记调用链是否正确或需要复核。
  • 收集基准评测标签:向评审人员展示参考答案或评分规则,整理可供后续分析的人工标签。
  • 复核特定版本轨迹:按渠道、用户类型或流水线版本筛选轨迹,比较不同条件下的模型表现。

适用人群

  • 大语言模型评测工程师
  • AI产品质量团队
  • 数据标注与审核团队
  • 构建模型评测流程的开发者

使用步骤

  1. 提供轨迹数据样例和字段说明。
  2. 说明评审人员需要判断的标准与反馈字段。
  3. 确定界面展示、筛选和导航需求。
  4. 生成并调整逐条审查与标注界面。
  5. 用代表性数据验证标注保存和操作流程。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

>

同类 Skill