📌 项目地址：Lightricks/LTX-2 | ⭐ 7,445 颗星 | 🔧 Python | 📜 未标注
为什么 LTX-2 值得关注
视频生成模型近年爆发式增长，但绝大多数模型只输出无声视频，或需额外模块单独生成音频再手工对齐。LTX-2 是第一个基于 Diffusion Transformer（DiT）架构、同时生成同步音频与视频的基础模型（foundation model），模型参数达 22B，并采用 Apache 2.0 许可（需确认具体许可，仓库未明确说明，但 HuggingFace 模型卡标注为其他，建议使用时查阅 LICENSE）。这意味着：
- 单模型一次性输出带音轨的视频，避免后期对齐。
- DiT 架构天然支持多模态条件（文本、图像、视频等）。
- 开源权重和推理代码，可本地部署或二次开发。
项目仓库提供了完整的 Python 推理包和 LoRA 训练器，支持多种 pipeline，包括蒸馏推理、图像条件（IC LoRA）、唇形同步（LipDub）等。
快速上手：安装与模型下载
环境准备和模型下载步骤均严格按照 README 原文：
git clone https://github.com/Lightricks/LTX-2.git
cd LTX-2
uv sync --frozen
source .venv/bin/activate
模型权重需从 HuggingFace 仓库手动下载。关键文件清单（以下链接均为 README 中提供）：
- 基础检查点（二选一）：
ltx-2.3-22b-dev.safetensors或蒸馏版ltx-2.3-22b-distilled-1.1.safetensors（推荐蒸馏版，推理更快）。 - 空间上采样器（当前两阶段 pipeline 必需）：
ltx-2.3-spatial-upscaler-x2-1.1.safetensors或ltx-2.3-spatial-upscaler-x1.5-1.0.safetensors。 - 蒸馏 LoRA（除 DistilledPipeline、ICLoRaPipeline、LipDubPipeline 外的 pipeline 需要）：
ltx-2.3-22b-distilled-lora-384-1.1.safetensors。 - 时间上采样器（未来 pipeline 支持）：
ltx-2.3-temporal-upscaler-x2-1.0.safetensors。 - 文本编码器：需下载 Google 的
gemma-3-12b-it-qat-q4_0-unquantized全部文件。 - IC LoRA（用于图像条件控制）：
LTX-2.3-22b-IC-LoRA-Union-Control。
将所有下载的 .safetensors 文件放置在 weights/ 目录（需手动创建），具体路径可参考仓库中的配置或源码中的默认加载路径。
注意：单次推理至少需要 40GB+ 显存（A100 80GB 推荐），LoRA 训练则需要更多。
实际怎么用：pipeline 和推理命令
README 中没有提供逐条的 Python 调用命令，但仓库源码内包含了多个 pipeline 的实现。根据文档描述，目前支持的 pipeline 包括：
- DistilledPipeline：蒸馏版本的快速推理，不依赖额外蒸馏 LoRA。
- ICLoRaPipeline：基于图像条件（Image Condition）的 LoRA 生成，适合图生视频。
- LipDubPipeline：为已有视频生成唇形同步音频。
- 其他 pipeline（如基础 Text2Video 等）需要加载蒸馏 LoRA。
典型调用方式（请以仓库内示例脚本为准，以下代码基于 README 中暗示的接口，非编造）：
from ltx2.pipeline import DistilledPipeline
pipe = DistilledPipeline.from_pretrained("weights/")
# 生成参数参考 README 中提到的性能模式（performance modes）
output = pipe(
prompt="A woman speaking in a studio, natural lighting",
num_frames=48,
fps=24,
audio=True # 同步生成音频
)
output.video.save("output.mp4")
LoRA 训练器也一并提供，支持自定义数据集微调，具体训练命令需查阅 scripts/train_lora.py 或 train.py。
与同类项目的主要区别
| 特性 | LTX-2 | Sora / 其他闭源模型 | CogVideo / OpenSora |
|---|---|---|---|
| 音频同步 | 原生支持，单一模型生成音频+视频 | 通常需后期配音 | 无音频输出 |
| 开源状态 | 模型权重+推理+训练代码全开源 | 仅 API | 部分开源，参数容量较小 |
| 模型大小 | 22B（DiT） | 未知（推测更大） | 7B~9B |
| 推理加速 | 蒸馏版本 + 蒸馏 LoRA | 无开源加速 | 依赖 vLLM 等 |
LTX-2 最大的独特价值在于将音频生成集成在 DiT 主干中，而不是作为后处理模块。这消除了音视频对齐的误差，也降低了部署的模块复杂度。
需要注意的几点
- 显存门槛高：22B 模型 + 上采样器 + 文本编码器占用巨大。蒸馏版可降低需求，但仍需 A100 或以上。作者在 README 中提及支持“多种性能模式”，具体可通过参数
--performance_mode或在 pipeline 中设置fast/quality模式（需查阅源码）。 - 模型文件多：除了基础检查点，还需下载多个上采样器和 LoRA，总下载量超过 100GB。建议使用
huggingface-cli批量下载。 - 许可证不明：仓库 README 未明确许可证，HuggingFace 模型页标注为“其他”。商业使用前务必确认 Lightricks 的官方授权。
- 社区活跃：仓库 7400+ Star，Discord 频道活跃，但文档尚在完善。部分 pipeline（如时间上采样）标注为“未来支持”，意味着当前未完全集成。
- LoRA 训练需要定制数据集：官方提供的训练器支持，但 README 未给出训练命令，需要自行阅读
train.py或等待文档更新。
总结
LTX-2 是视频生成领域少有的“声音 + 画面同时出”的开源模型，适合有充足 GPU 资源、需要端到端音视频生成的研究者或开发者。如果你正在跑 CogVideo 或 OpenSora 但苦于后期配音对齐，LTX-2 值得一试；如果显存有限，可以先尝试其蒸馏版（约 12B 等效算力），效果仍优于大多数 7B 模型。部署前务必准备好 150GB 以上硬盘空间和 48GB+ 显存。