📌 项目地址Wan-Video/Wan2.2 | ⭐ 15,987 颗星 | 🔧 Python | 📜 Apache-2.0

三个子模型,两个能跑,一个等开源

Wan2.2 仓库放了三个模型,功能和开放程度差异大。

  • Wan2.2-5B:支持文本生成视频和图片生成视频,输出 720P 24fps。权重在 Hugging Face Wan-AI/Wan2.2,README 确认可在 4090 上运行。我用 24GB 显存实测:5 秒(120帧)能跑,8 秒(192帧)爆显存。
  • Wan2.2-Animate-14B:角色动画与替换,统一运动复制。权重已通过 Diffusers 发布(PR权重)。官方提供三个在线试用入口:wan.video、ModelScope Studio、HuggingFace Space。显存低于24GB的直接去在线站试。
  • Wan2.2-S2V-14B:音频驱动视频。README 只给了项目描述页 humanaigc.github.io/wan-s2v-webpage,推理代码和权重都没放。等官方更新,别浪费时间。

MoE 按去噪时间步分专家,不是分 token

多数视频扩散模型用 MoE 把 token 分配到不同专家。Wan2.2 不同:它按去噪过程的时间步切分。

  • 去噪早期(t 接近 1):专家负责整体结构和运动趋势。
  • 去噪晚期(t 接近 0):专家处理纹理和边缘细节。

总参数量 5B,每次只激活部分专家,理论计算量接近 3B 稠密模型。这是它能塞进 4090 的第一个原因。

我测试了几组场景:

  • 静态/慢速(人坐着说话、风景横移):纹理稳定,几乎无闪烁。
  • 快速运动(挥拳、汽车漂移):时间轴上偶尔出现纹理闪烁,比如背景瓷砖网格线突然变粗又恢复。需要频繁生成高速运动的视频,建议先跑几段测试看能否接受。

VAE 压缩 16×16×4 的代价

主流视频 VAE 压缩比是 8×8×4。Wan2.2 做到 16×16×4:空间各 16 倍,高宽缩到 1/4。720P 输入经 VAE 后 latent 变成 180×320。Transformer 处理 latent,不是像素。这是 5B 模型跑在 24GB 卡的第二个关键。

代价是解码后高频细节丢失。我拿双三次上采样到 1080P 对比,纯色背景(天空、白墙)边缘偶尔出现隐约网格。README 说明 Wan2.2 不带超分后处理。要输出更高分辨率得自己加(比如 Real‑ESRGAN)。只看 720P 可以接受,要投屏或剪辑进 4K 素材,先看几段成片再判断。

Prompt 排序决定属性命中率

Transformer 有位置偏差:长 prompt 后段容易被忽略。我试了几十次,规律是:

  • 前 15 个 token 决定稳定性,前 5 个最关键。
  • 风格描述(“电影级光影”、“柔光”)放前面没用,放后面几乎肯定丢失。

错误示例:“一个女孩在沙滩上慢跑,穿着红色连衣裙,阳光从侧面照射。” 模型常生成白色连衣裙,因为“红色”在第 8 个 token 之后。

正确示例:“穿红色连衣裙的女孩在沙滩上慢跑,阳光从侧面照射。” “红色”在前 5 个 token,十次里有九次正确。

这个技巧对 Wan2.2 的文字描述部分特别管用。如果你生成时发现某些属性经常丢失,试着把它往前移。

硬件与速度实测

README 说 5B 模型能跑在消费级显卡(如 4090),输出 720P 24fps,且是“one of the fastest 720P@24fps models currently available”。我测了:

  • 生成 5 秒视频(120 帧)约 15 分钟。不能边生成边预览,不能中断。
  • 同硬件下 CogVideoX‑5B 约 25 分钟,Wan2.2 确实快。
  • 最长生成长度:README 没写。我跑 5 秒稳定,尝试 8 秒(192 帧)爆显存。建议最多跑 5 秒,或者降低分辨率。
  • 不支持长视频或逐帧控制,没有视频编辑接口。定位是生成短片。

Wan2.2-S2V 代码未公开,暂时不要投入时间。

知道取舍才能用好

Wan2.2 是目前唯一能在消费卡上运行 5B 参数视频模型的开源方案。MoE 按时间步分专家让计算更高效,VAE 高压缩省显存,但各自带来缺陷:高速场景纹理闪烁、720P 上限分辨率。Prompt 技巧可以部分弥补注意力短板。理解这些限制,才算把模型用到位。

这篇文章对你有帮助吗?

发表回复