AI Skill 大全

失败轨迹转偏好训练数据

输入生产失败案例与运行轨迹,定位首个错误决策,构造可验证的偏好训练数据,并制定训练后的双集验收方案。

功能与用途

适合把线上智能体的失败案例转成可训练、可复查的数据。提供用户反馈、完整运行轨迹和验收条件后,可定位首个错误步骤,判断应先修提示词、工具链还是开展训练,再截取关键轨迹前缀,构造正确与错误行为的偏好对,并保留归因和验证证据。还可规划微调流程,分别用未完成任务与已完成任务检查修复效果和过度谨慎问题。实际训练需要准备模型、训练环境及可执行的验证器。

适用场景

  • 修复编程智能体过早收尾:从未跑测试就宣称完成的轨迹中截取决策前缀,构造先验证再收尾的偏好对。
  • 判断复制失败是否值得训练:检查原始字符串、工具返回与模型输出的差异,区分模型错误和工具链损坏。
  • 验收微调是否造成过度谨慎:分别检查未完成任务的过早结束率与已完成任务的正常收尾率,识别过度矫正。
  • 把运行日志整理成学习信号:提取成败判定、分维度结论、证据位置与失败标签,为后续训练选择提供依据。

适用人群

  • 大模型后训练工程师
  • 智能体研发工程师
  • 模型评测工程师
  • 训练数据工程师

使用步骤

  1. 提交失败轨迹、用户反馈和任务验收条件。
  2. 定位首个错误步骤,排查工具链与上下文问题。
  3. 选择训练方式,截取前缀并构造带证据的样本。
  4. 验证筛选样本,准备隔离评估集并开展微调。
  5. 检查边界集、保留集和通用任务表现。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
专业
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

把生产 bad case / 失败轨迹转成训练数据时使用——从失败归因、轨迹前缀截取、DPO 偏好对构造、LoRA 训练到边界集与保留集双集验证的完整链路;也用于判断某类问题该走 SFT、DPO、RL 还是先修 Harness/工具/tokenizer,以及如何从运行轨迹中提取带证据的结构化学习信号。触发词:bad case、失败归因、DPO、偏好对、轨迹前缀、拒绝采样、过度矫正、边界集、保留集、过早结束、reward hacking、LoRA 微调、训练评估隔离。

使用前准备

  • 准备完整运行轨迹、用户反馈及明确的任务验收条件。
  • 具备大模型训练与评估基础,能够检查工具调用和上下文传递。
  • 实际运行微调需另行准备模型、配套代码、训练环境及足够算力。
  • 准备读取真实任务状态的验证器,以及与训练数据隔离的评估任务。

同类 Skill