干活的和验收的要分开
让一个 Agent 写、另一个挑剔的 Agent 像用户一样验收,长任务效果明显更好;而且每次换新模型,都该删掉不再需要的部分。
读书笔记原文:《Harness design for long-running application development》↗Prithvi Rajasekaran · Anthropic
为什么读
我想知道让 AI 连续干几个小时、做出一个完整应用,到底需要怎么安排。这篇有具体实验和花费,比空谈靠谱。
我记下的要点
- harness 是什么。 可以理解成套在模型外面的“工作流程和工具架子”:谁先做什么、怎么交接、用什么检查。这篇就是在调这个架子。
- Agent 会高估自己的作品。 尤其是设计这种主观的活。与其让它自我批评,不如单独设一个调得很挑剔的评审 Agent。
- 三个角色:规划、生成、评审。 规划者把一两句需求扩成产品说明;生成者一次做一个功能;评审者用浏览器自动化工具像真实用户一样点页面、查接口。开工前两边先约定好“做到什么算完成”。
- 贵,但差别很大。 做一个复古游戏编辑器,单个 Agent 20 分钟、9 美元,核心玩法是坏的;整套流程 6 小时、200 美元,角色能动了,功能也更完整。
- 评分标准的措辞会影响风格。 前端实验里,把“设计质量”和“原创性”权重调高,能把模型从千篇一律的 AI 风格里拉出来。
- 每个组件都是对模型短板的假设。 换成更强的模型后,他们逐个拿掉组件测试,删掉了分阶段的设计,只保留规划者和最后一轮评审。
我的想法
“自己做的自己验收不靠谱”这件事,在人身上也成立。我建站时让 Claude 在浏览器里看页面,其实已经是一种验收,但那还是同一个 Claude 在看自己写的东西。
第 6 点对我很有用:流程不是越复杂越好。模型变强了,原来必要的步骤可能变成负担。我还不太会判断哪些步骤是“承重的”,这可能要靠多看几次 Agent 的实际过程才能慢慢有感觉。
我打算试试
- 下次做页面,先写几条“做到什么算完成”的验收标准,再开工
- 改完后开一个新对话,只让它按标准挑毛病