EN
AI Engineer World's Fair

五种 agent 幻觉,五段现场跑通的代码对照,全部开源可复现

Stop AI Agent Hallucinations: 5 Techniques + Production Patterns - Elizabeth Fuentes, AWS · Elizabeth Fuentes

55 min
AgentContextEvals

全片 55 分钟·真正值得盯屏约 42 分钟·3 个必看点

橙色 = 推荐必看的 42 分钟其余读导览就够
逐段导览 · 8 段
  1. 0:00 3:18

    幻觉不是玄学,是上下文和账单问题

    讲者用一个酒店预订 agent 作为全场贯穿案例,先从 token 经济学解释幻觉从哪来:上下文太多、不合适或缺了关键信息,agent 就开始编。

    接下来的五个办法全是改代码,不是改提示词——这是理解整场的前提

    这段基本是讲者站着讲道理,配几张说明性的页面,边做别的事听着就行▶ 跳到 0:00
    讲者 · Elizabeth Fuentes
  2. 3:18 14:26

    从 29 个工具挑 3 个给模型

    先摊开 29 个工具的定义,算出每条消息都要为约三千 token 的工具说明付费;再改成每次先用向量库检索出最相关的三个工具再注入。基线版和改进版并排跑给你看。

    多轮对话里必须每轮先清空工具再注入,只加不减的话工具会重新堆回全部 29 个

    讲者翻开代码逐段指,还把两个版本的 token 消耗和答案正确率跑出来对比,数字和输出都在屏幕上,不看画面会漏掉一半信息▶ 跳到 3:18
    讲者 · Elizabeth Fuentes
  3. 14:26 18:10

    工具替换怎么落地,以及托管版做法

    补完工具动态替换的实现细节,然后说明生产上可以交给 Bedrock AgentCore Gateway——工具注册一次,检索和路由是内置的。

    自己搭一套检索也行,但托管方案省掉的是维护路由层的长期成本

    这段以口头说明架构选择为主,没有需要盯着看的运行结果▶ 跳到 14:26
    讲者 · Elizabeth Fuentes
  4. 18:10 30:13

    要算数的问题别交给向量检索

    解释为什么求平均、计数、多跳这类问题上向量检索必然出错:模型一次只看得到几个片段,只能拿样本估算还当成真答案说出口。改法是让模型写图查询语句,由数据库跨全量数据算完再返回。

    检索总会给你返回点什么,哪怕库里根本没有相关内容——这正是幻觉的温床

    后半段四类问题逐个实跑,两种方案的答案、token 量并排显示,尤其那道南极洲的问题,两边的输出反差要看画面才有冲击▶ 跳到 18:10
    讲者 · Elizabeth Fuentes
  5. 30:13 40:18

    让另外两个 agent 来盯着执行者

    单个 agent 在同一个循环里既干活又自查,工具报错时它不上报,而是自圆其说地编一条成功回复。解法是拆成执行、校验、评审三个 agent 串起来,代码结构和实跑结果都有展示。

    自我验证在同一个推理循环里是无效的,验证必须由独立的一环来做

    三个 agent 之间的消息流和最终被驳回的过程是逐条打在屏幕上的,光听只知道结论,看画面才知道每一步是怎么接住错误的▶ 跳到 30:13
    讲者 · Elizabeth Fuentes
  6. 40:18 44:32

    业务规则写进代码,模型跳不过去

    把不许未付款确认、不许超员这类规则写成 Python 函数,挂在工具调用前的钩子上校验,不通过就取消这次调用。对照跑了违规请求和正常请求各一组。

    写在提示词或工具描述里的规则,对模型只是概率上参考的一段文字,它会照违不误

    主要是终端里的几组请求与拦截提示,规则本身讲者已经说清楚,扫一眼确认拦截信息和放行结果即可▶ 跳到 40:18
    讲者 · Elizabeth Fuentes
  7. 44:32 52:48

    别拦死用户,引导它自己改对

    区分两类规则:真正的硬约束该在调用前拦掉,但像超员可以拆房、这班满了可以订下一班这种软规则,应该在运行时引导 agent 自我纠正把事办完。最后给出整套方案的部署架构。

    能自动纠正的场景就别让用户重试,硬停止只留给不可协商的约束

    同一请求在两种策略下的完整执行过程摆在一起跑,末尾的部署架构图也需要对着看才能理解各组件位置▶ 跳到 44:32
    讲者 · Elizabeth Fuentes
  8. 52:48 55:17

    五个办法各治一种病

    把五个技术和它们各自对付的失败模式一一对上,并说明所有示例都以笔记本加可运行应用的形式开源,本地用开源模型跑不花 token。

    照着五种失败模式去对号入座,比记住五个技术名词有用

    纯口头收束和资源指引,把仓库地址记下来就够了▶ 跳到 52:48
    讲者 · Elizabeth Fuentes