LLM轨迹标注界面搭建
提供JSON或CSV格式的模型调用轨迹,生成可浏览、可判定并自动保存标签与备注的人工评审界面。
功能与用途
用于搭建针对自有数据的浏览器标注界面,供评审人员逐条检查大语言模型的调用轨迹并记录结构化反馈。输入通常是JSON或CSV格式的轨迹数据;界面可展示完整对话、工具调用及相关元数据,支持通过、未通过或暂缓判定,填写备注并自动保存标注结果。还可按需要加入参考答案、过滤条件和轨迹分组。适合需要人工审核模型输出或收集评测标签的团队,需能提供轨迹数据及其字段结构。
适用场景
- 审核模型对话质量:导入对话轨迹,逐条判断回答是否通过,并记录错误原因与评审备注。
- 检查工具调用过程:查看模型的中间步骤和工具响应,标记调用链是否正确或需要复核。
- 收集基准评测标签:向评审人员展示参考答案或评分规则,整理可供后续分析的人工标签。
- 复核特定版本轨迹:按渠道、用户类型或流水线版本筛选轨迹,比较不同条件下的模型表现。
适用人群
- 大语言模型评测工程师
- AI产品质量团队
- 数据标注与审核团队
- 构建模型评测流程的开发者
使用步骤
- 提供轨迹数据样例和字段说明。
- 说明评审人员需要判断的标准与反馈字段。
- 确定界面展示、筛选和导航需求。
- 生成并调整逐条审查与标注界面。
- 用代表性数据验证标注保存和操作流程。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
>