同一模型只换harness，得分暴涨20多个百分点——证据与做法全在这场
What if the harness mattered more than the model? - Aditya Bhargava, Etsy · Aditya Bhargava
全片 32 分钟·真正值得盯屏约 13 分钟·3 个必看点
- 0:01 – 5:45略
反主流开场：harness被严重低估
挑战“模型够好、harness保持简单”的主流观点，提出agent=模型+harness，并抛出HarnessBench基准：同一模型换harness得分相差超20个百分点。
harness不是胶水代码，而是与模型同等量级的性能变量；模型越弱，harness补偿越大。
以口头论述为主，但2:22的HarnessBench数据图（52.4%对76.2%）是全片论据基石，值得停下看清；其余可倍速。▶ 跳到 0:01讲者 · Aditya Bhargava - 5:48 – 9:16略
示例任务与第一次必然失败
设定贯穿全片的任务：修复median函数bug（偶数长度应取中间两数均值）。用自研语言Agency写出最裸的版本——prompt直传LLM，因无法读写文件而失败。
纯模型什么都做不了，这个失败起点正是后面每一级harness改进的对照组。
任务代码和Agency语法（TypeScript风格混Python）在幻灯片上一眼即懂，扫一眼8:13的bug代码和8:42的首个示例即可，讲解部分可听过。▶ 跳到 5:48讲者 · Aditya Bhargava - 9:25 – 14:47看
加工具与安全机制：handler审批
演示Agency中任何函数自动生成JSON schema成为工具（docstring即描述），并展示标准库的interrupt+handler机制：破坏性操作执行前暂停等人工批准，配内置log viewer审计每次调用。
能力与安全必须并行设计且安全是默认值——标准库所有危险操作先抛interrupt，默认禁止任意读写文件系统。
本段是现场演示密集区：10:11函数自动成工具、11:16 log viewer逐条查看调用、13:25 handler审批流程，画面信息无法只靠听还原。▶ 跳到 9:25讲者 · Aditya Bhargava - 14:53 – 19:21略
PFA：不需要人的安全
用.partial锁定参数（如把read的directory锁死为demo目录），LLM既改不了也看不见该参数，从结构上划定能力边界；agent由此无需审批就能读文件并给出正确修复——但只是提议，没有真的改代码。
Partial Function Application是零人工介入的安全机制：约束写进函数签名，而不是写进prompt。
核心是.partial这一行代码的思想，16:01的代码片段和17:28的运行结果扫一眼即可，中间的推导讲解可加速听。▶ 跳到 14:53讲者 · Aditya Bhargava - 19:24 – 26:30看
反馈循环闭环与子代理
加入ReAct反馈循环后agent首次真正完成任务：读文件、跑测试、改代码、复跑测试自证通过。随后展示子代理就是普通函数——工具按语义分组进子代理，顶层只选调谁，能力增长而上下文不膨胀。
改进阶梯完整成型：纯模型→工具→handler→PFA→反馈循环；子代理的价值是不膨胀上下文地加能力。
全片最值得看的两段演示都在这里：20:12反馈循环闭环全程、23:36双子代理并行（一个修测试、一个用打油诗解释Jensen不等式），画面即论证。▶ 跳到 19:24讲者 · Aditya Bhargava - 26:31 – 32:02略
内置优化器与暂停-恢复收尾
演示optimize修饰符：优化器先跑agent建立基线，再自动改写prompt并在首轮达标，从猜测式调参转向系统化度量改进。收尾点出Agency杀手级特性——interrupt处执行状态可序列化，一周后从精确位置恢复。
构建真正好的harness需要语言级支持：可优化、可暂停恢复的执行模型，是多数框架的human-in-the-loop做不到的。
27:04优化器从基线到达标的迭代输出值得瞄一眼，但本段以结论陈述为主，语言特性与愿景部分（用本地开源模型摆脱厂商依赖）听即可。▶ 跳到 26:31讲者 · Aditya Bhargava