AI Skill 大全

智能体输出反思与评测调优

提供生成-评估-批判-调优工程模式与量规策略,帮助开发者构建具备自我纠错与LLM打分闭环的智能体工作流。

功能与用途

该能力提炼了 AI Agent 系统中常见的自动化评估与迭代自愈设计模式。涵盖基础自我反思(Reflection)、评估者-优化者(Evaluator-Optimizer)架构、测试驱动的代码自动纠错闭环,以及量规(Rubric)打分和 LLM-as-Judge 评审策略。通过结构化 JSON 输出和收敛终止条件控制,让智能体在生成高要求代码、专业报告或结构化数据时能够自动检查缺陷并反复调优,脱离单次生成的质量不稳定性。

适用场景

  • 生成内容自我反思与纠错:基于结构化反馈在多轮循环中让智能体审查自身产物,自动识别缺陷并执行迭代修改。
  • 双模型评估优化管线搭建:解耦生成者与评估者职责,由独立组件对生成结果按评分阈值反复触发针对性调优。
  • 测试驱动代码自动修复:为生成的代码自动匹配测试用例并执行验证,根据错误回溯信息驱动模型循环修复代码。
  • 多维度量规打分与模型裁判:配置加权评估维度或LLM裁判机制,对复杂分析报告与多方案输出实施自动化量化裁决。

适用人群

  • AI应用开发者
  • 大模型算法工程师
  • Agent流程架构师
  • 自动化测试研发人员

使用步骤

  1. 明确生成任务的质量验收标准,定义结构化的判定维度与加权量规(Rubric)
  2. 选择适合的反思范式(单体自审、独立评估者或外接测试运行器)
  3. 设置最大迭代次数(通常为 3~5 次)与分数收敛中断机制,防止死循环
  4. 实现结构化评测结果解析,并将判定反馈拼接入下一次优化生成的提示词中

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • 读取用户主动提供的内容

同类 Skill