智能体输出反思与评测调优
提供生成-评估-批判-调优工程模式与量规策略,帮助开发者构建具备自我纠错与LLM打分闭环的智能体工作流。
功能与用途
该能力提炼了 AI Agent 系统中常见的自动化评估与迭代自愈设计模式。涵盖基础自我反思(Reflection)、评估者-优化者(Evaluator-Optimizer)架构、测试驱动的代码自动纠错闭环,以及量规(Rubric)打分和 LLM-as-Judge 评审策略。通过结构化 JSON 输出和收敛终止条件控制,让智能体在生成高要求代码、专业报告或结构化数据时能够自动检查缺陷并反复调优,脱离单次生成的质量不稳定性。
适用场景
- 生成内容自我反思与纠错:基于结构化反馈在多轮循环中让智能体审查自身产物,自动识别缺陷并执行迭代修改。
- 双模型评估优化管线搭建:解耦生成者与评估者职责,由独立组件对生成结果按评分阈值反复触发针对性调优。
- 测试驱动代码自动修复:为生成的代码自动匹配测试用例并执行验证,根据错误回溯信息驱动模型循环修复代码。
- 多维度量规打分与模型裁判:配置加权评估维度或LLM裁判机制,对复杂分析报告与多方案输出实施自动化量化裁决。
适用人群
- AI应用开发者
- 大模型算法工程师
- Agent流程架构师
- 自动化测试研发人员
使用步骤
- 明确生成任务的质量验收标准,定义结构化的判定维度与加权量规(Rubric)
- 选择适合的反思范式(单体自审、独立评估者或外接测试运行器)
- 设置最大迭代次数(通常为 3~5 次)与分数收敛中断机制,防止死循环
- 实现结构化评测结果解析,并将判定反馈拼接入下一次优化生成的提示词中
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- 读取用户主动提供的内容