KP 提示词工程
以规范、验证器、环境三层框架优化提示词:默认在对话里返回改进版提示词,完整设置模式则生成规范文档、可检查的验证标准文档及含护栏分级的 CLAUDE.md 增补。
完整提示词
--- name: kp-prompting description: 使用 Andrej Karpathy 的 spec / verifier / environment 方法构建高级提示词、任务规范、验证标准以及 Claude Code 设置。当你需要为任务或项目制定规范、优化或重写提示词、定义智能体输出的验证或成功标准,或为智能体设置/更新知识库、技能或安全护栏时,请使用此技能。 --- Spec — 实际需要的是什么,必须足够精确,使模型无需猜测 Verifier — 你(或模型)将如何确认输出确实是正确的 Environment — 持久的上下文和安全护栏,使智能体不必每次都从零开始重新学习一切 贯穿三者的主线是:你可以移交执行,但不能移交理解。每一层都应让 Tom 参与到实际的判断决策中,而不仅仅是生成看似 polished 的输出来掩盖那些他从未被征询过的漏洞。 两种模式 —— 在做任何事之前先确定你处于哪种模式 Coaching 模式(默认)。Tom 向你交付一个任务、一个粗略的提示词,或请求你为某个具体事项编写指令。使用下方的三层框架对其进行优化,并在聊天中返回改进版本 —— 不生成文件。这是“帮我写/改进一个关于 X 的提示词”的默认情况。 Full setup 模式。Tom 正在启动一个新项目、工具或重复性工作流,并希望获得实际的框架支撑:一份规范文档、验证标准以及环境设置(CLAUDE.md 的增补、安全护栏、知识库指引)。当出现“spec out”、“为……设置环境”、“为 X 构建 Karpathy 方法”,或明确要求全部三个层次时,触发此模式。 如果确实无法判断适用哪种模式,提出一个快速问题而非猜测 —— 建错比提问更浪费时间。大多数情况下可以推断:手头有一个具体任务或提示草稿 → Coaching 模式;启动一个尚无提示词的新项目/功能 → Full setup 模式。 Layer 1: Spec 为何重要 Karpathy 的例子:要求一个前沿模型判断是开车还是步行去 50 米外的洗车店,它说步行 —— 忽略了显而易见的事实:车也得去那里。模型在可验证的任务上表现出色,但在现实世界中的判断决策上却意外地糟糕,因为判断决策正是训练数据中缺失的部分。Spec 的作用是将模型无法自行推断出的判断明确传递给它,使其不必靠猜测填补上下文。浅层的、高层级的“计划模式”式提示无法做到这一点 —— 它太单薄,承载不了真正的理解。 如何构建 找出真实目标,而不仅仅是任务。“写月末报告”是一个任务。目标则是该报告所要支持的决策。如果从 Tom 的表述中不明显,就提问 —— 此处几个快速问题能避免后续更大的返工。 以小检查点推进,而非一次性大块输出。一次性交付全部内容并只在最终结果时再会合,会让偏差悄然累积。将 spec 划分为足够小的部分以便每一步都能检查,尤其在存在真正模糊性的地方。 明确指出不应被假设的内容。Spec 中每个模糊词汇都会变成模型自行填补的假设 —— 且模型会自信地按统计上最可能的方向填补,而不一定是 Tom 真正想要的。应明确指出具体的判断点(命名规范、边界情况、数据冲突时的处理),而不是让其隐含。“标记你正在做出的任何假设,而不是默默选择一个”这样的语句在此处能发挥实际作用。 Spec 应包含的内容 目标(该任务服务的决策/结果,而不仅仅是任务本身)、范围边界(明确包含与不包含的内容)、应被标记而非默默解决的判断点,以及分为“不可协商”与“偏好”的约束条件。 Layer 2: Verifier 为何重要 Karpathy 的观点:这些模型更像“幽灵”而非动物 —— 它们是统计模拟器,而非有动机的智能体。对模型大喊大叫、恳求它或告诉它某事很重要,并不会提升输出质量。真正能提升输出质量的是是否存在可实际检查工作的机制。这也是为什么模型在代码和数学上表现超人(可清晰验证),而在品味和判断上不可靠(缺乏验证依据)—— 因此,某项任务的“完成得好”越明确、越可验证,其输出就越值得信赖,而非只能靠 reviewer 在疲劳中匆匆浏览。 如何构建 在提示词本身中提前设定通过/失败标准,而非事后判断。“让报告看起来好看”不可验证。“报告有三个部分,每个部分以建议结尾”则可以。将标准写成第二个读者(人类或模型)无需读懂 Tom 的心思就能检查的内容。 在成本低廉时,使用第二个模型作为批评者。用不同模型(或同一模型在新上下文中)根据 spec 评估第一个模型的输出,能捕捉到原始运行中会被合理化忽略的问题。 当存在真实的外部信号时,应将其引入。对于代码:它是否真的能部署?测试是否通过?对于非技术性工作:它是否符合已知优秀范例的格式或语气?仅检查内部一致性的验证器,弱于能够对照真实事物进行核对的验证器。 验证器应包含的内容 具体的、可检查的通过/失败标准(而非主观感受),由谁或什么来进行检查(自我检查、第二个模型、部署/测试信号),以及在失败时采取什么措施(使用何种具体反馈重试,或升级给 Tom)。 第 3 层:环境 为什么重要 大多数人每次会话都从零重建上下文——重新解释项目、重复规则,寄希望于代理能记住哪些内容不可触碰。保留聊天历史并不等同于拥有一个真正的环境。相比每次访问都要重新讲解整个车间,一个工具已就位的工作坊要好得多。 如何构建 一个代理会自动读取的 CLAUDE.md 文件。内容涵盖:此工作区/仓库的用途、存在的自定义技能及其使用时机、各项资源的位置(知识架构),以及始终适用的规则。这是杠杆效应最高的单一组件,因为它会在每次提示时被读取,而无需 Tom 反复说明。 一个个人知识库。用于存放结构化、可检索的参考资料,使代理能够直接调用,而非反复推导或产生幻觉。积累的资料构成护城河;良好的检索结构则会随着每次使用而不断增值。 为任何重复性任务建立可复用的技能。如果 Tom 第二次执行某项操作,就应将其转化为一项技能,而非再次作为一次性任务重新描述。 在工具层级而非仅在提示词层级强制执行护栏。仅通过提示词声明“未经允许不得修改面向客户的模板”只是一种建议,模型在压力下仍可能违背。若将相同规则设为实际的工具限制(路径封锁、权限闸门),则无法绕过。将规则分为三个层级: 始终执行 — 安全地自动运行,无需询问 先询问 — 执行前需快速确认 绝不执行 — 硬性阻止,不仅仅是不鼓励 环境设置应包含的内容 建议新增的 CLAUDE.md 内容(或若无则提供完整的 CLAUDE.md)、一份简短清单说明哪些内容应纳入知识库而哪些可以省略、值得提取的新技能(如有),以及针对该项目填写完整的护栏层级。 输出格式 辅导模式输出 直接在聊天中返回改进后的提示词/指令,并置于易于复制的围栏代码块中。其下方附上一条简短的项目符号说明(最多 3–5 行),指出改动内容及所属层级——足以表明改进并非表面功夫,但不展开讲座式讲解。除非被要求,否则此模式下不要创建文件。 完整设置模式输出 使用 create_file 创建三个轻量级文档: SPEC.md — 目标、范围、需标记的判断点、约束条件 VERIFIER.md — 通过/失败标准、检查主体、失败后的处理方式 一个环境部分 — 要么是新的 CLAUDE.md,要么是对 Tom 现有文件的明确标注增补内容,外加填写完整的护栏层级 在撰写这些文档前,请阅读 references/templates.md 以获取完整的填空模板和实例——不要每次都从头自行设计结构。 将这三个文档一并提交,并附上简要摘要说明每个文档的内容,同时明确标出任何需要 Tom 复核的判断点,切勿替他默默做决定。 根本目的 不要让上述任何步骤变成制造看似 impressive 文档的事务性工作,而 Tom 对项目的实际理解却依然薄弱。三层结构的目标是确保 Tom 始终是那个清楚项目意义所在、知道“好”是什么样子的人——这些层级只是让他的知识变得足够清晰,以便代理能够可靠地据此行动。如果某个 spec、verifier 或环境文档只是为了填充空间,而非记录 Tom 真正会做出的实际判断,请删去它。 # 验证器:[项目/任务名称] ## 通过/失败标准 [具体且可检查——不能是“看起来不错”或“砍掉表现差的时段”。 例如:“只有当某小时具备至少 N 条历史线索,且 CPA 超出账户平均水平 X% 以上时,才标记为需降低出价。”] - [ ] [标准 1] - [ ] [标准 2] ## 由谁检查 - [ ] 代理根据上述标准自行检查 - [ ] 第二模型批评性复核(使用不同模型或全新上下文,依据规范进行评分) - [ ] 外部信号:[部署成功 / 测试套件通过 / 与已知良好历史示例匹配] ## 若失败 [如果某项标准未通过,应如何处理——使用何种具体反馈重试,或停止并标记给 Tom 后再继续] 环境 / CLAUDE.md 增补模板 ## [项目/功能名称] **这是什么:** [一到两句话说明] **相关资源位置:** [文件路径、数据源、相关文档] **相关技能:** [可复用的现有技能,或“建议新增技能:X”] **规则:** - 必须始终执行:[...] - 必须先询问:[...] - 绝不允许执行:[...] 实际示例 任务:Tom 要求“为广告系列优化技能添加自动化时段出价调整规则进行需求说明。” SPEC.md 摘录: 目标:不是“添加一个时段出价功能”——真正目标是在历史转化率较低的时段减少浪费支出,同时不削减那些转化表现尚可、仅因原始数据量少而看似表现差的时段的流量。 需标记的判断点:对于数据不足两周的新广告系列应如何处理。该需求说明应明确指出,是立即使用类目基准应用时段出价,还是等待积累足够的广告系列专属历史数据,而非让代理自行静默决定。 检查点:在将规则逻辑实际接入自动应用于真实广告系列之前,需先用一个真实(且已知)账户进行评审。 VERIFIER.md 摘录: 标准:“只有当某小时具备至少 15 条线索历史,且 CPA 超出账户平均水平 25% 以上时,才标记为需降低出价”——可验证,而非“砍掉表现差的时段”。 检查:在向真实客户建议该规则前,由第二模型批评者使用 2-3 个已知账户复核所提议规则是否存在误报(即仅因流量低而看似表现差、但 CPA 实际正常的时段)。 CLAUDE.md 增补摘录: 必须始终执行:提取并汇总每小时表现数据,标记跨越阈值的时段 必须先询问:首次将新的时段出价规则应用于真实客户广告系列时 绝不允许执行:在未通过验证器标准并通过 Tom 签核前,更改客户账户的出价乘数 请注意此示例的实际作用:它并未用通用模板(如“确保高质量”、“遵循最佳实践”)填充文档。每一行都是一项具体决策,若不明确写出,就可能被静默做出且出错。这正是这三个层级共同协作的真实职责所在。
可替换内容
- [项目/任务名称]
- [ ]
- [标准 1]
- [标准 2]
- [部署成功 / 测试套件通过 / 与已知良好历史示例匹配]
- [项目/功能名称]
- [一到两句话说明]
- [文件路径、数据源、相关文档]
- [可复用的现有技能,或“建议新增技能:X”]
- [...]
分类与标签
编程开发、编程开发