把扩散推理提速的量化、缓存、蒸馏讲成一张能直接开工的路线图
You Might Not Need 50 Diffusion Steps — Ziv Ilan, Nvidia · Ziv Ilan
全片 18 分钟·真正值得盯屏约 6 分钟·2 个必看点
- 0:15 – 2:30听
扩散模型还停在 LLM 的几年前
开场先摆问题：扩散模型生成一张图或一段视频动辄几十步去噪，慢且贵；而它的推理优化生态远不如自回归大模型成熟。整场的主线因此定为——把 LLM 世界已经验证过的优化思路搬过来。
扩散推理优化不是从零发明，而是一次有路标的技术迁移，知道 LLM 那边发生过什么就能预判这边的走向。
这段是纯粹的问题陈述和路线铺垫，讲者在讲逻辑不在展示东西，边做别的事听着就够。▶ 跳到 0:15讲者 · Ziv Ilan - 2:30 – 5:00略
量化：最好摘的果子，但在扩散上更硌手
从最简单的手段讲起——降低数值精度。但扩散模型比语言模型更容易在量化后掉画质，讲者以 Flux 2 为例说明它改用运行时动态计算量化范围，让区间贴合真实数据分布而不是拍脑袋定死。
量化在扩散上不能照抄 LLM 的做法，量化范围要跟着实际数据走，否则画质先崩。
涉及精度格式和量化范围的对照说明，屏幕上大概率是配合讲解的示意图，扫一眼图跟着听即可，不必盯着。▶ 跳到 2:30讲者 · Ziv Ilan - 5:00 – 7:16听
省下的显存比省下的时间更值钱
继续讲量化的实际收益：显存占用下降到消费级显卡也能跑，同时推理提速。但要泼一盆冷水——扩散模型计算偏注意力密集，提速幅度不如语言模型那么亮眼。
量化的第一价值往往是把模型塞进更便宜的卡里，速度提升是附赠品，别拿 LLM 的加速比来对标。
结论型的收益与代价权衡，讲者用话说清楚了，没有需要对着看的东西。▶ 跳到 5:00讲者 · Ziv Ilan - 7:16 – 10:00听
缓存：不变的部分就别再算一遍
第二条主线是复用计算。相邻去噪步之间变化极小的部分可以跳过重算，更现代的做法按区块粒度只重算真正在动的区域——比如画面里走动的人重算、静止的背景直接复用。
缓存是双刃剑，配置激进会明显伤画质，必须自己实测吞吐与画质的平衡点，没有通用最优档位。
讲者用「走动的讲者与静止背景」这个口头比喻就把机制说透了，是靠语言而非画面撑起来的一段。▶ 跳到 7:16讲者 · Ziv Ilan - 10:00 – 14:20听
步数蒸馏：蒸的是步数，不是参数
全场核心。这里的蒸馏不缩小模型，而是训练学生模型用 4 步、8 步甚至一步达到 50 步的质量，换来 10 倍到 200 倍性能提升。讲者比较了轨迹蒸馏与分布蒸馏两大流派，并提到 GTC 上已用单个 B200 演示实时视频生成。
想做实时视频生成，步数蒸馏是目前唯一能兼顾质量的路径，其他手段只能让你更快，救不了这个量级的差距。
含金量最高但也最抽象的一段，讲的是两类训练方法的思路差异和质量取舍，值得放下手上的事专心听完，画面帮不上忙。▶ 跳到 10:00讲者 · Ziv Ilan - 14:20 – 16:40听
三招可以叠加，按这个顺序上
把量化、缓存、蒸馏收成一张路线图：三者不是三选一而是可叠加。建议先做最省事的量化，不够就加多卡并行和缓存，最后才上冲击力最大但也最复杂的蒸馏。
按实施成本从低到高逐层叠加，别一上来就啃蒸馏。
一条清晰的先后顺序建议，听一遍就能记住并直接用在自己的排期上。▶ 跳到 14:20讲者 · Ziv Ilan - 16:40 – 18:29略
算力门槛答疑与开源工具清单
现场问答澄清了最大的顾虑：蒸馏所需算力远低于预期，H100/H200 这一代就够，小参数量的视频模型要求更低；但它属于后训练，得先建立评估能力再定数据策略。最后列出可直接使用的开源工具与预量化权重。
通用场景不需要专门数据集，但蛋白质生成这类垂直领域必须用领域数据，否则效果会崩。
结尾会集中亮出工具与模型名称的清单页，把这些名字抄下来比逐句听更有用。▶ 跳到 16:40讲者 · Ziv Ilan