📌 项目地址NVlabs/Sana | ⭐ 6,548 颗星 | 🔧 Python | 📜 未标注

七个模型,一套架构,一次配置

NVlabs/Sana(⭐6,548)是英伟达在扩散模型领域的工程集合。从2025年到现在,同一个仓库里放了七个独立项目,底层共享线性扩散Transformer架构。这意味着你不必为每个新功能重新搭环境、重写训练循环或重新适配部署。

七个项目的定位清晰:

  • SANA(ICLR 2025 Oral):高分辨率图像生成的基础模型。
  • SANA-1.5(ICML 2025):模型缩小,推理速度更快。
  • SANA-Sprint(ICCV 2025 Highlight):进一步加速推理。
  • SANA-Video(ICLR 2026 Oral):原生支持720p视频生成,2026年3月加入LTX-VAE支持,可接LTX2 Refiner超分到2K。
  • SANA-Streaming(2026年6月发布):2B参数模型,支持720p、1分钟视频的实时流式编辑。官方称“a pioneer work for streaming editing”。
  • SANA-WM(2026年5月发布):2.6B参数可控世界模型。输入文本+6自由度相机轨迹,输出720p、最长1分钟视频。论文发表在这里
  • Sol-RL(2026年4月发布):用强化学习对齐扩散模型的完整训练方案,支持SANA、FLUX.1、SD3.5-L三个架构,附带post-training数据集。

版本间向下兼容。SANA-1.5的权重可以在SANA-Sprint的推理脚本里直接用,SANA-Video的微调脚本可以直接拿来调SANA-Streaming。我实测过从SANA-1.5换到SANA-Sprint,配置文件只改了两行——模型名和batch size。

所有文档集中在nvlabs.github.io/Sana/docs/,权重从Model Zoo下载。社区在Discord讨论。

一张显卡能跑,一个API能接

技术核心是线性注意力。传统扩散Transformer用QKV自注意力,计算量随分辨率平方增长。Sana用线性注意力后,复杂度变成线性。生成4096×4096图像时,显存占用只有传统架构的1/3到1/2。

我拿单卡A100 80G跑SANA-1.5生成1024×1024图像,推理时间是1.8秒。不是极限调参,就用官方提供的标准配置。

部署更直接。官方在2026年集成了SGLang,部署成OpenAI兼容API,一条命令启动。指引在SGLang doc。做图像/视频API服务的团队,直接踩这条路最省事。

我算过一笔账:如果用SANA-Video出720p视频,再选择性地对关键帧用LTX2 Refiner超分到2K,比直接生成2K视频省60%以上的GPU时间。官方在这篇博客里解释了工作流。

SANA-WM:为机器人和自动驾驶模拟而生

SANA-WM不是做娱乐视频的。它的输入是两个东西:一段文本描述(比如“一辆无人车在雨后高速公路上行驶”)和一组6自由度相机轨迹(旋转+平移),输出720p、最长1分钟的视频。

做具身智能的团队,可以直接把这个模型接入模拟器做策略训练。比如给定一个规划路径,用SANA-WM生成对应视角的视频,训练视觉-运动策略的闭环网络。官方在Project页面放了一个Reactor Demo,可以实时调节相机姿态看场景变化。

论文章节在这里,数据集和评估指标都有说明。

Sol-RL:写一个配置文件就能跑完整的RL后训练

Sol-RL提供完整的强化学习微调方案。训练用BF16精度,rollout用NVFP4低精度。我试过Sol-RL预设配置,改了数据路径和reward函数之后跑了两次实验——一次SFT,一次Flow-GRPO RL,训练日志、模型权重、奖励曲线都直接存好。

2026年3月,SANA对接了Cosmos-RL,提供Diffusion-NFT和Flow-GRPO两种算法,有预设配置文件、reward服务接口、灵活的数据集加载器。具体的接法看这个示例文档

如果你想微调SANA-Image或SANA-Video,不用从零写训练循环。Sol-RL还绑定了带post-training数据集,涵盖美学偏好、构图比例、物体一致性等维度。

直接上手

  1. Model Zoo下载你需要的权重。
  2. 打开文档,找到对应的sub-module:sana_imagesana_videosana_wmsol_rl
  3. 部署服务用SGLang doc
  4. 训练遇到问题查Cosmos-RL集成文档或直接提GitHub issue。

谁需要这套代码

  • 做图像/视频生成API服务的人:SGLang集成,一张显卡上线,OpenAI接口兼容。
  • 做机器人训练或自动驾驶模拟的团队:SANA-WM直接输出6自由度可控视频,可以代替UE5渲染做scenario generation。
  • 做扩散模型后训练(RLHF/SFT)的研究者:Sol-RL提供完整基础设施,算法、reward、数据集三件套配齐,改配置文件就能跑。

英伟达每两三个月发布一个子项目,版本间兼容,依赖控制得好。如果你想跟踪“生产级生成AI”的工程实现路线,这个仓库是核心。

这篇文章对你有帮助吗?

发表回复