EN
AI Engineer World's Fair

5 分钟看懂生产 Agent 悄悄烧钱的五个漏洞与对应止损代码

Your Agent Is Wasting Tokens and You Don't Know It - Erik Hanchett, AWS · Erik Hanchett

6 min
AgentContext

全片 6 分钟·真正值得盯屏约 3 分钟·3 个必看点

橙色 = 推荐必看的 3 分钟其余读导览就够
0:000:241:101:552:454:055:25
逐段导览 · 7 段
  1. 0:00 – 0:24听

    开场：你的 Agent 正在悄悄烧钱

    点出 Agent 应用中 token 被隐性浪费的问题，并预告将给出五个可落地的优化环节。

    token 浪费大多发生在你看不见的环节，需要逐环节体检

    纯口头引入，无关键画面，听清问题框架即可▶ 跳到 0:00
    讲者 · Erik Hanchett
  2. 0:24 – 1:10看

    方法一：缓存系统与工具提示词

    展示在 Strands Agents 中设置 cachePrompt=default 的代码：首次调用发完整提示词，后续只发大幅缩减的部分。

    提示词缓存是成本最低、最先该做的一步优化

    24s 处讲者说 Let me show you some code，屏幕上有可直接照抄的代码演示▶ 跳到 0:24
    讲者 · Erik Hanchett
  3. 1:10 – 1:55听

    方法二：按任务难度路由模型

    困难任务用 Claude Sonnet 等前沿模型，简单任务用 Haiku 等便宜模型，甚至可用一个极便宜的模型专门负责路由决策。

    别让最贵的模型干所有活，路由本身也可以很便宜

    以口头论述策略为主，无必须盯屏的演示，理解路由思路即可▶ 跳到 1:10
    讲者 · Erik Hanchett
  4. 1:55 – 2:45看

    方法三：卸载大体积工具返回结果

    演示用 Strands Agents 的 API 把大工具结果存到本地或云端，在上下文中只保留摘要，避免每轮循环重复携带全量数据。

    工具结果不该原样进上下文——存起来，用摘要替代

    115s 处再次进入代码演示（Let me show you some code on here），具体 API 用法要看屏幕▶ 跳到 1:55
    讲者 · Erik Hanchett
  5. 2:45 – 4:05看

    方法四：限制工具循环 + 可观测性审查

    给工具循环设最大迭代上限防止失控，并在部署前用可观测性工具逐个检查每次工具调用的耗时与循环次数。

    没有迭代上限的工具循环随时可能变成无限烧钱机

    202s 处讲者带观众逐一查看每个工具的调用情况，观测面板画面是理解排查方法的关键▶ 跳到 2:45
    讲者 · Erik Hanchett
  6. 4:05 – 5:25略

    方法五：滑动窗口裁剪对话历史

    用 Sliding Window Conversation Manager 只回传最近 N 条消息（默认 10 条），并对被裁掉的早期消息做摘要放回上下文。

    多轮对话的全量历史每轮都在重复计费，滑窗+摘要是标准解法

    以配置项与幻灯片说明为主，扫一眼参数设置即可，不必逐帧看▶ 跳到 4:05
    讲者 · Erik Hanchett
  7. 5:25 – 5:54听

    收尾：五招组合成完整降本策略

    回顾缓存提示词、模型路由、卸载工具结果、限制循环加观测、裁剪对话历史五项手段，强调组合使用才构成完整的成本优化方案。

    五项手段不是单选题，叠加使用才能最大化省钱

    口头总结陈词，无新画面，听结论即可▶ 跳到 5:25
    讲者 · Erik Hanchett

相关推荐