📌 项目地址：NVlabs/LongLive | ⭐ 1,779 颗星 | 🔧 Python | 📜 未标注
长视频生成的两堵物理墙
我手头有个 Wan2.2-TI2V-5B 模型，想生成 30 秒视频。单张 A100 80GB，推理直接 OOM。不是显存不够装模型权重，是 KV cache 随着帧数线性膨胀——每一帧的注意力缓存都要存下来，序列长了就爆。
换 BF16 跑，计算单元利用率低，瓶颈在数据搬运：NVLink 带宽吃满，GPU 空转等内存读数据。模型架构没问题，是工程层面显存和带宽双重受限。
今年 5 月 NVIDIA 发布的 LongLive 2.0（仓库 NVlabs/LongLive，1779 stars）没有动模型结构，用两个工程手段拆墙：NVFP4 4-bit 浮点量化 + 序列并行。实测 5B 模型能跑到 45.7 FPS，满足实时交互。
NVFP4：数据体积砍到 1/4，带宽压力降一个数量级
NVFP4 是 NVIDIA 定义的 4-bit 浮点格式，权重（W）、激活（A）、KV cache 都用 4-bit 存储和计算，即 W4A4。相比 BF16，数据量缩小到四分之一。
- 带宽：搬运相同算力所需的数据体积减少 4 倍，内存带宽不再成为瓶颈。之前 GPU 花大量时间等数据，现在数据到得够快，计算单元能跑满。
- 显存：KV cache 是长序列的显存大户。用 NVFP4 存 KV cache，单卡能撑住的序列长度比 BF16 直接翻倍。2026 年 4 月项目集成 TriAttention，KV cache 再压缩 50%，README 称“no quality drop”。
- 进一步优化：2026 年 5 月 25 日，项目把 NVFP4 推理路径又优化了一轮——融合 RoPE 和 adaLN 到一个 Triton kernel，减少 KV cache 同步开销，in-place 更新量化后的 KV cache，用 pinned memory 传输 VAE 数据，以及“LoRA before quantization”（先加载 LoRA 再量化，保证精度）。整体吞吐提升 18.6%。这些细节都在 README News 栏。
序列并行：训练和推理都能切碎长视频
“Balanced sequence parallel”——均匀切割序列，每张卡分到长度相近的一段，避免某卡算完干等。
训练
长视频的梯度计算单卡放不下。序列并行把视频按时间维度切段，每卡计算一段的梯度，同步后更新模型。支持两种模式：
- 教师强制（teacher-forcing）：用真实帧作为下一帧条件，拟合 auto-regressive 训练。
- 多镜头（multi-shot）视频：同一个故事里有镜头切换，但序列完整性保持。
训练精度可选 BF16 或 NVFP4。2026 年 5 月 30 日更新显示，Wan2.2-TI2V-5B 上跑通了 I2V AR teacher-forcing 训练和 DMD 蒸馏。README 直接打 ✓：支持 T2V/I2V AR training on multi-shot (or single-shot) videos。
推理
推理端三个优化叠在一起：
- NVFP4 KV cache：序列越长，KV cache 越大，换成 4-bit 体积降到四分之一。
- 序列并行推理：多卡分担长序列的 KV cache 和注意力计算。
- 异步解码（async decoding）：模型算完第 N 帧的潜伏特征后，不等 VAE 解码完，直接开始算第 N+1 帧。VAE 解码和下一步推理重叠运行，减少等待时间。
还有一个设计叫 multi-shot attention sink：镜头切换时注意力权重可能漂移，长期序列下模型关注点散掉。sink 机制稳定注意力分布，确保跨镜头连贯性。
这套方案能不能搬到自己的模型上
LongLive 不是封闭系统。项目已经验证了两个模型：
- Wan2.2-TI2V-5B：跑过了 I2V 训练和蒸馏。
- SANA-Video（线性注意力模型）：被移植到 LongLive 后生成了 60 秒交互式实时视频。README 直接写了：“we implement LongLive on linear attention model SANA-Video! Now SANA-Video can generate 60s interactive videos in real-time.”
基础设施部分（量化、并行、异步）直接复用，只需要适配接入层。如果你有自己的视频生成模型，fork LongLive 改适配层，比自己从零攒并行+量化方案快得多。
项目权重 LongLive-2.0-5B 在 HuggingFace 公开。文档在 nvlabs.github.io/LongLive/LongLive2/docs/。论文 arXiv 2605.18739。
局限性：什么没解决
- LongLive 不降低注意力计算复杂度。如果你的模型注意力实现低效（比如没有 FlashAttention），量化帮不了。它只修显存和带宽瓶颈。
- 序列并行的通信开销随卡数增长。4 卡以内收益明显，超过 8 卡需要仔细调负载平衡。README 提到“balanced sequence parallel”，但没有给超过 16 卡的实验数据。
- NVFP4 精度损失对生成质量的影响。README 说集成 TriAttention 后“no quality drop”，但那是针对 KV cache 压缩。权重和激活的 4-bit 量化在长序列上误差累积有没有测试？文档里没细说。实际使用前建议先跑一波质量对比。
谁真正需要这东西
两类场景值得考虑：
- 模型参数从 1.3B 涨到 5B，目标生成时长从几秒变成几十秒，显存和带宽同时卡住。量化位宽从 BF16 降到 4-bit——三个趋势叠加，LongLive 的解决范围正好覆盖。瓶颈是“显存放不下、带宽跑不动”，它是最直接的现成方案。
- 手头有个视频生成模型，不打算改模型架构，但被显存和带宽限制住。LongLive 的并行和量化可直接复用，省去自己搞 Triton kernel 和分布式切片的精力。
文档地址：nvlabs.github.io/LongLive/LongLive2/docs/。模型权重在 HuggingFace。论文 arXiv 2605.18739。