【论文阅读笔记】LTX-Video: Realtime Video Latent Diffusion

LTX-Video: Realtime Video Latent Diffusion

• 概述

• 摘要

• 概述

• 方法

  • 视频VAE(Variational Autoencoder)

  • 共享扩散目标

    • 再现重建GAN(reconstruction GAN)
    • 多层噪声注入（multi-layer noise injection）
    • 均匀对数方差(uniform log-variance)
    • 视频小波损失(video DWT loss)
    • 基于VAE的细节实现（VAE implementation details）

  • Video Transformer

  • • 旋转位置编码
    • QK Normalization

  • 文本条件

  • • 使用预训练文本编码器
    • 交叉注意力

• 图像预处理条件

• 基于修正流的训练方法

• • 背景机制
  • 时间管理机制
  • 多分辨率训练策略
  • 基于图像的数据训练

• 数据准备

  • 为了评估视频和图像的质量，我们采用了基于美学的模型进行训练。

• 动态分辨率及宽高比筛选

• 利用美学特征对模型进行微调优化

• 标题信息及元数据的强化处理

  • 实验

  • • 训练

    • Evaluation

    • 消融

    • • RoPE 频率间距

    • 降噪 VAE Decoder

• 限制

• • • 模型对于提示描述的敏感度
    • 仅在长视频处理方面存在局限性
    • 在特定领域内的通用性

  • 社会限制

  • • • 可及性与民主化
      • 开源贡献
      • 环境考虑
      • 潜在风险与缓解

  • 总结

---

介绍

最近发现其中一篇基于VAE框架对图与视频生成性能涵盖效能的研究文章。

另一篇「todo」

project：https://github.com/Lightricks/LTX-Video

摘要

LTX-Video是一种主要由变换器驱动的潜在扩散模型。它主要通过融合视频变分自编码器（Video-VAE）与去噪变换器的核心功能来实现。通过综合运用多种技术手段实现视频生成。

LTX-Video 目标在于优化视频交互体验，在此过程中 Video-VAE 模型实现了惊人的压缩比达到 1:192，在每个标记的空间时空中采样后生成 32×32×8 像素图像数据，并且这一性能得益于将分块操作从编码器输入迁移到 VAE 编码器中

改写说明

然而，高压缩本质上限制了对细节的表现。为了解决这个问题，

1. VAE解码器主要处理潜在空间到像素空间的映射，并执行去噪处理；同时，在像素级别直接输出清晰图像。
2. 该模型能够有效维持细节特征的同时，在减少计算开销方面表现优异。

该系统具备多样化的应用场景，并非局限于单一类型的操作模式。不仅涵盖文本转视频、图像转视频等多种转换方式（包括但不限于文本到视频和图像到视频两种基本类型），这两项核心功能同步优化的基础上实现了高效的超实时生成性能。基于768×512分辨率的Nvidia H100 GPU环境下（高性能计算架构），仅需2秒的时间即可输出时长为5秒、帧率高达24 fps的高质量视频序列**（远超同类规模模型的表现水平）。**

源代码和预训练模型已公开，设立了可访问和可扩展视频生成的新基准。

---

Introduction

如图1所示，在第一行展示了由LTX-Video生成的文字转视频过程，并在随后两行中以左帧为条件展示了图像转视频样本。研究结果表明，在以下关键指标上我们的模型展现了卓越的表现：主要体现在我们的模型在以下几个关键指标上展现了卓越的表现：提示依从性、视觉清晰度以及运动保真度。每个展示块均来自5秒视频中均匀取样的帧序列。

现有视频模型包括Sora、MovieGen、CogvideoX、Open-Sora以及PyramidFlow等T2V模型展示了基于自注意力机制和全局感受野的空间时序变换器的有效性，并成功实现了3DVAE用于时空压缩的技术开发。这些研究验证了传统架构选择的有效性基础之上，并且都建立在常规VAE设计框架之上

借鉴生成高分辨率图像与视频领域的最新技术成果后，在本文中我们提出了一种名为 LTX-Video 的潜在扩散模型。该模型基于转换器架构，在设计上特别注重平衡空间与时间维度的关键考量。
本方法的核心架构采用了经过精心优化的设计方案（VAE），其显著特点在于通过巧妙地增加潜在空间中的通道数量来实现更高的空间压缩能力。
此外，在实现过程中我们还特别关注了计算效率这一关键指标，并在此基础上提出了若干创新性改进措施。

增加了128个通道后的潜在深度能够更加有效地处理视频数据，并为高性能3D VAE提供支撑 。潜在扩散模型以应用像素级训练损失来提高训练效率的能力为特点，在实际应用中通常是会牺牲生成一些高频细节作为代价 。

Sora [1] 和 MovieGen [2] 利用第二阶段扩散模型生成高分辨率输出以缓解这一限制。 PixelLoss[7]致力于在VAE解码器的噪声潜伏期整合像素级损失以解决这一问题。 尽管在压缩潜空间范围内保持了整个生成过程。 我们建议让VAE解码器同时承担最后的去噪任务并将潜在向量转换为像素。

关键见解 ：在高压缩率场景下这种调整具有显著影响，在此过程中高频细节并非全部都能够重建成功并且必须被生成出来。

基于具有良好可扩展性和设计上具有灵活性的Transformer架构。

*具体而言，在视频生成任务中，我们通过引入**归一化缩放旋转位置编码（RoS）**取代传统的绝对定位机制（CML），从而显著提升了空间与时间相关性的表现。
*我们首先对Query与Key张量进行归一化处理，并稳定了注意力机制计算过程的同时提升了模型稳定性，并优化了注意力权重的信息多样性。通过这些改进手段，在保持原有框架简洁性的基础之上实现了性能上的质的飞跃。

我们的模型是在当前领域拥有的视频生成模型处于行业领先地位。它不仅相比直接观看视频而言能更快运行——具体来说，在NVIDIA H100显卡上使用768×512分辨率输出时能产出高达每秒一十二帧的画面——而且耗时仅需两百步扩散过程。相比于现有的同尺寸模型（参数规模约为两百亿级别、未经蒸馏优化），我们的解决方案展现出显著的优势。

除了实现文本转视频的功能之外，在此基础上我们进一步提升了模型的能力以处理图像至图像的任务

LTX-Video 生成的文本到视频和图像到视频样本见Fig 1、18 、图 19 。

Controbutions：

• 扩散机制的整体框架：LTX-Video通过无缝集成 Video-VAE 模块和去噪转换器，在潜在空间中提升了它们的交互效果，并与解码器模块实现了去噪目标的一致性。
• 基于新型损失函数设计的高压缩率视频 VAE模型：通过重新定位补丁操作至 VAE 并引入创新性的损失函数设计，我们实现了压缩比高达1:192的目标。该模型的空间分辨率下采样达到32×32×8，在生成高质量视频时展现出卓越性能。
• 我们对增强型扩散变压器架构进行了系统性训练与评估，并将优化后的 LTX-Video 公开发布。这一模型相比实时文本到视频的方法，在参数规模上实现了更优的表现（仅需约 2GB），同时维持了高效的生成速度。

---

方法

为了实现LTX-Video更快捷的实时操作并确保其优异的画面质量、精准的动力学捕捉能力和良好的交互响应特性，在改进过程中我们采用了整体潜在扩散技术方案来提升视频VAE与扩散变压器间的协同工作能力

该系统基于高压缩率（比例为1:192）的高维潜在空间以及采用32×32×8的空间时序采样。通过动态指派VAE解码器负责最后一步降噪操作，并实现潜在空间与像素值之间的映射关系。

我们提出的方法框架不仅涵盖了基于视频域的VAE架构、损失函数设计以及扩散模型的转换器架构中的关键创新点，在处理高分辨率视频数据时依然表现出色。

Video VAE

基于压缩潜在空间运行的方式是实现文本到视频扩散转换器模型成功的关键：其中可以看出这些模型的主要计算开销源于输入token的数量，并需要注意的是，在处理过程中token数量的操作复杂度为二次。此外，在扩散过程中通过降低原始信号固有的冗余信息来提升效率（SimpleDiffusion [11]、SD3 [12]）。

最近的研究表明，在视频生成领域中引入了CogVideoX [3]、MovieGen [2]、PyramidFlow [5]、Open-Sora Plan [4]以及HunyuanVideo等模型。这些模型均通过采用VAE架构来实现对时空维度的压缩。具体而言，在网络架构设计上采用了对通道数量进行提升的方式。例如，在某些模型中将输入的三通道图像转换为具有十六个通道的新特征空间。这种设计策略能够显著提高整体的压缩效率，并使后续处理环节更加高效流畅。在编码器模块中设置了特殊的补丁提取机制。该机制能够有效地将二维的空间信息转换为一维的序列表示，并在此基础上实现了更高的压缩比。

相较于其他方法而言，本文提出的Video-VAE采用了包含128个通道的空间×时间×频率维度（32×32×8）的空间时频压缩技术 ，从而实现了对比于传统方法约提升了约一倍（即达到每秒一百九十二帧的水平）的空间时频压缩效果，并将像素到令牌的比例从常规水平提升了约三倍（达到每像素八千一百九十二个token的比例）。值得注意的是，在实现这些性能的同时本方法无需依赖任何补丁生成器技术的支持即可完成训练任务。请参考表1获取更多详细的技术参数和技术细节。

该研究团队 [11] 在高分辨率像素空间中探讨了信息冗余这一关键问题，并提出了一种通过增加每个扩散步骤中的噪声量来有效缓解该问题的方法。 与此同时，在更高的分辨率场景下（如SD3[12]）以及涉及时间维度的数据冗余问题上也进行了深入研究。

因此，在实现数据压缩的过程中，时间和空间压缩均具有重要意义。在本研究中，在经过预处理后，在128\times潜在像素的空间中应用了主成分分析法（PCA）[14] 来分析潜在空间中的数据冗余情况（见图3）。经过训练后，我们的变分自编码器（VAE）能够有效地利用可获得的有效通道来降低数据冗余程度。需要注意的是，在将这些中间表示传递给转换器之前，在128\times潜在像素的空间中进行了初步处理（正如最近的研究所采用的方法），这种初步处理并未显著降低数据冗余程度

潜在空间中存在冗余性。(a) 在不同阶段的学习过程中(2%-100%)所积累的有效特征数量呈现出显著差异性特征。(b,c) 各个潜在通道之间的相关性较高，在初始学习阶段这一现象较为明显(占总学习步数约4%)；而到后期学习阶段这种现象逐渐减弱直至消失。

为了以不损失质量为目标而追求高压缩比，在现有基础上对变分自编码器（VAE）进行了必要的改进，并训练了若干不同架构的设计以便进行比较分析。这些改进型 VAEs 构成了我们模型的核心模块。有关我们的具体架构设计，请参见图 4。值得注意的是，在对比于标准扩散模型的基础上，在优化过程中我们将分块层的位置进行了转移优化，并使解码过程同时承担了解码与去噪的关键任务

Shared Diffusion Objective

该类模型的目标是通过映射噪声潜在变量 z_{t_i} = (1 - t_i) z_0 + t_i \varepsilon 以期获得更加干净的理想潜在变量 z_0, 使得生成器函数 f^\theta(z_{t_i}, t_i) 能够输出理想潜在变量。该模型通过将初始状态设为纯噪声（即 \varepsilon）并不断更新优化初始值, 逐步降低时间步序列 {t_N, t_{N-1}, t_{N-2}, ..., t_2, t_1} 中的噪声水平, 直至重建出与训练数据高度一致的理想潜在变量。

然而，在实践中受限于实际操作中的限制 ，迭代次数往往是有限的，并不能真正地达到收敛的状态。因此，在这种情况下仍然可能存在未消除的风险。

在潜在扩散模型中，其中 z_0 = E(x_0) 表示数据样本 x_0 的压缩形式，在这种情况下存在所谓的残余不确定性现象。这种不确定性通常会以解码器 D 接收超出预期输入的形式体现出来**（distributional outliers），导致重建像素空间x_0 = D(z_0)中出现伪影效果。通过实验结果表明，在编码器 E 以高压缩率运行时（high compression rate），这种现象会更加显著地影响重建质量（reconstruction quality）。尤其是在具有高频信号特征的数据区域（high-frequency signal regions），由于这些信号在压缩潜在空间中难以有效捕捉高频信号特征（high-frequency signal characteristics），因此其表现会更为欠佳（poor performance）。

分布外输入（Out-of-Distribution Inputs, OOD Inputs）被称为数据样本在训练过程中未能充分代表或根本未被包含在内的输入形式。这会直接影响模型对这些输入的处理效果，因为模型仅掌握了数据的特征分布这一核心知识，并未能充分应对潜在的变化或遗漏了某些关键特征。

在前述讨论的潜在扩散模型中，在向解码器传输的过程中若出现分布外输入的情况下，则可能导致其生成不准确或虚假的结果。这种现象尤其明显地出现在编码器处于高压缩率运行状态时，在这样的情况下，在压缩过程中高频信号（即细节信息）可能会被丢失或削弱从而导致模型无法正确重建这些细节。

缩减潜在空间的关键作用：在视频扩散变压器中，在其中起着至关重要的作用。
MovieGen [2]提出了基于扩散的技术架构，并将上采样器部署在相对温和的压缩潜力环境中。
Sora [1]开发了一种直接在线处理像素的空间域上的上采样技术。
尽管这些方法成功降低了伪影现象的发生频率或程度，并非没有带来较高的计算开销和运行时间负担。

本文提出了一种新方法，在既快速生成又保持细节精准性的前提下实现对更高质量图像的重建。具体而言，在该方法中我们将解码器设计为扩散模型：该模型通过将噪声潜伏期映射到不同噪声水平下的干净像素实现细节重建：x_0 = D(z_{t_i}, t_i) = D ((1−t_i)z_0 + t_iε, t_i)。由于 D 在不同维度空间之间的映射特性，在实际应用中无法像标准扩散模型那样通过迭代逐步去噪。

尽管如此，它通过以基本模型无法达成的方式执行最终的降噪步骤来实现这一目标；对于x_0 = D(z_{t_1}, t_1)而言，在受限于潜在空间有限表现力的前提下，传统的潜在到潜在降噪模型无法完成这一任务。相比之下，在像素空间中直接生成图像并基于像素空间损失进行训练的解码器能够更有效地解决这一问题。

我们采用了遵循传统架构的设计方案来实现D(z_{t_i}, t_i)的功能。基于时间步t_i的需求，我们在网络架构中引入了可自适应调节的归一化层组件，并借鉴了U-Net扩散模型（例如DDPM[15]）中所采用的核心技术手段**。去噪解码器通过在区间[0, 0.2]内动态调节噪声水平来进行训练操作**，这一设置与常见的扩散时间调度策略相吻合。

Reconstruction GAN (rGAN)

VAE 训练的一种典型做法是通过协调像素级 L2 损失、感知损失 (LPIPS [16]) 以及 GAN-based discriminator 的均衡处理来实现生成质量与判别器性能的平衡。

在高压缩率条件下，L2损失往往会生成模糊的输出结果。相比之下，“感知相关的损失”增加了减少模糊性的同时，“可能导致纹理伪影现象”尤其是在高运动场景中出现。然而，“对抗性训练方法通常依赖于专门针对非重建任务设计的鉴别器”。这些鉴别器的核心任务是基于无额外上下文信息区分真伪样本，“其工作对于特定于重建的任务而言显得过于复杂”。基于仅有限空间信息的Patch-GAN判别器，在应对这一挑战方面表现尤为显著。

我们提出了一种新颖的方法来重构GAN损失。(a) 在经典的GAN中，鉴别器观察到了真实图像或重建图像。(b) 在该系统中，在同一个样本中生成了两个不同的版本，并通过连接模块进行比较。

为了求得解决这一问题的方法。我们提出了一种重建型GAN模型（见图5）。这种方法是对传统GAN训练流程的一种创新性改造。在这个方法中，分类器在每次迭代中接收输入与输出以及重构样本，并根据这些信息判断哪些样本是原始的真实数据与被重建的虚假数据。相对于传统方法而言，这种相对比较的方式大大简化了判别器的任务。同时能够显著提升判别器对生成器的指导能力。

本研究通过大量实验数据验证了我们重建GAN模型的卓越性能优势。此外，在理论上我们的方法不仅支持鉴别器作为匹配真实样本一般分布的损失函数还支持其作为稳健的重建损失函数从而实现了保真度与感知质量的最佳均衡

Multi-layer Noise Injection

在当前使用的 VAE 模型中（引用了 SD-XL 和 DC-VAE 的文献），随机性仅通过在潜在空间中加入噪声来进行引入，并且其大小取决于预测的对数方差值。

• 在StyleGAN[18]之后阶段的基础上，在VAE解码器中嵌入多层噪声注入机制，以促进高频细节的多样化生成 *

• 各通道的学习过程中均设置了统一或特定的噪声水平 *

Uniform log-variance

我们进行了一项研究，在分析宽潜在空间结构（大量通道）时 ，发现标准KL损失通常表现出潜在空间分布不均衡的现象：其中一些通道未能被有效利用用于生成样本重建的过程，并为此付出了代价——即预测的均值显著降低至接近于零的状态；而预测的方差保持在接近1的状态。针对这一问题，在所有潜在通道中引入统一方差策略——即采用一个在通道之间共享的单一预测logvar——从而实现了对KL损失的有效均等分配。

Video DWT Loss

为了解决现有方法在高频细节重建方面的不足问题，我们提出了基于时空离散小波变换(DWT)的一种新的损失函数。详细而言，在输入和重构视频中计算了8个三维的小波变换（DWT），并以这些变换的L1距离作为评估标准。

VAE 实现 detail

用于训练我们的VAE模型的总损失集合包括：像素级重构（MSE）、视频-DWT中的L1范数、感知层的LPIPS评估以及基于GAN的重建。

我们进行了因果型变分自编码器与非因果型变分自编码器的性能评估。尽管非因果型变分自编码器在重建方面表现出较好的性能表现能力（具有较快的收敛速度），但因果型变分自编码器能够在图像生成、视频合成以及基于首帧的视频生成任务中实现高效协同训练

我们还对可分离卷积架构进行了详细测试，并基于2D空间内核和1D时间内核的设计方案展开实验分析。通过观察实验结果发现，在性能上稍优于3D卷积架构的表现

Video Transformer

我们旨在通过改进Transformer架构来建模多样化和复杂的数据。基于Pixart-α[8]框架，我们进行了若干关键修改以实现这一目标，并确保这些修改与该领域前沿研究保持一致。有关3D变换了体架构的具体细节，请参见图6所示的内容。

旋转位置编码

基于先进的视频编码框架FiT、LargeDiT以及改进型H-DiT架构，在本文中我们采用旋转位置嵌入（RoPE）替代了传统的绝对位置嵌入方案。通过其机制实现了对位置信息的动态解析，在处理视频数据序列时能够有效应对序列长度和维度变化带来的挑战。

在该研究的嵌入实验任务中，我们系统性地考察了三种不同的变体方案：第一种为**（1）绝对位置编码机制**；第二种基于分数坐标表示的位置编码方法；第三种采用了预定义最大值归一化的分数坐标位置编码机制

通过实验数据验证表明，在与归一化分数坐标方法相比的情况下，该方法表现出更好的性能。为了确保在不同分辨率、帧数及帧速率条件下的一致性，并分别计算了空间和时间 RoPE 坐标（以像素和秒为单位） ，相对于预设的最大分辨率与最长持续时间。通过将原始帧速率融入时间嵌入机制，模型能够生成更为自然流畅的运动序列。

然而，在现有开源实现普遍采用反向指数频率间隔的前提下，在系统性实验分析中发现：当频率呈指数增长时（即以指数速率递增），模型展现出显著的优势。这一发现得到了最近相关领域的理论研究的支持：通过截断较低频信号（即去除那些变化缓慢的信息），有助于提升模型的整体性能。

QK Normalization

借鉴了ScalingViT[23]和LargeDiT[20]的研究成果后,我们在进行点积注意力计算前对Query与Key进行归一化处理,以此防止注意力logits中的数值变得过于庞大,从而使注意力权重趋向于零熵状态。随后,对比分析了RMSNorm与LayerNorm[24],研究结果表明RMSNorm在性能上优于LayerNorm[24].经过一系列改进措施后,模型在应对视频与图像生成任务所特有的挑战方面取得了显著成效。

文本条件

该方法在保证模型正确解析并根据输入生成内容方面发挥了关键作用。为了稳健地实现从文本生成图像以及从文本生成视频的过程，我们采用了多种源自近期领域进展的策略。

使用预训练文本编码器

GLIDE通过整合去噪U-Net架构并采用基于变换器的设计理念，在文本编码领域开创性地构建了一种新型编码器结构

与Imagen、DALL-E 3和Pixart-α的方法相仿，《我们基于T5-XXL文本编码器建立了初始文本嵌入模型》这一做法背后所蕴含的原因在于：我们从这些模型在通过预训练文本编码器来提升输入语义理解方面的成功经验中汲取了灵感。

交叉注意力

用于构建基于文本嵌入的条件化扩散变换器的两种主流架构是Cross-attention（Pixart-α、MovieGen）和MM-DiT（由SD3引入并应用于FLUX.1、AuraFlow、CogVideoX）。在MM-DiT中通过统一注意力机制分别处理文本与图像补丁嵌入。**统一注意力层促进了这两种嵌入之间信息交互，并表明对图像嵌入的部分空间转换操作能够与噪声和时间步参数解耦。**我们基于实验结果表明交叉注意力机制能够显著提升生成质量。

图像条件

在多数内容创作流程中

采用AdaLN范式，在DiT与Pixart-α架构中，默认情况下各标记均被输入相同的时序嵌入，并经历相应的噪声处理。相较于原先的设计方案，在改进版本中我们赋予了每个标记自定义的时间步参数以及独立的信噪比控制能力。

为了使模型能够基于第一帧进行条件化处理，我们偶尔会将属于第一帧的标记的时间步赋值为微小数值，并将其对应的噪声标记设为目标噪声级别。该模型能够快速地根据这一新信息进行处理。

在推理过程中，在条件图像上运用我们的因果 VAE 编码器将其转化为时间维度设定为1的潜在张量。该潜在张量通过与随机噪声潜伏期建立联系并展平处理后形成了初始标记集合。我们对所有getToken进行去噪处理的时间步设定较小值t_c以便调节令牌的状态。如图9所示该流程的大致步骤。

Rectified-Flow Training

在本节中，我们阐述了训练过程和损失的具体设计方案 。这些详细的设计方案直接影响着训练所需的时间及其最终生成模型的质量水平。

背景

在Rectified-Flow框架[36]中，在SD3[12]方法中（注：注释已省略），根据公式z_t =(1−t)z_0 + tε（其中t ∈ [0,1]），系统将干净的输入样本z₀在线性噪声下逐步扩散。具体而言，在训练阶段（如原始扩散论文所采用的方法），时间步t是从均匀分布U(0,1)中被采样的。而在原始扩散模型的设计理念下，默认的目标就是推断出这个噪声ε。然而由于这一预测任务并非均匀分布的特性（注：此处应删除注释），SD3建议使用速度向量v=ε-z₀作为训练目标来优化网络参数。至于去噪过程，则是从初始纯噪声状态出发，在每一步的时间步长为Δt的情况下逐步重构出干净图像。

时间调度

该研究提出了一种在对数正态分布训练过程中对扩散时间步长t进行采样，并替代了早期模型中采用的均匀分布U(T)的方法。其目的是为了在速度预测任务中更为复杂的阶段分配更多的训练步骤。

SimpleDiffusion [11] 提出，在较高分辨率图像中需要更高级别的噪声以维持SNR性能。我们采用了这一推荐方案，并将时间步长调度器移动到较高噪声级别 ，具体取决于令牌的数量。为了防止分辨率尾部出现饥饿现象，在百分位数 0.5 和 99.9 处限制了概率密度函数（pdf）的值。分别在不同分辨率下的时间步长分布转移情况，请参见图 10。

Multi-resolution Training

为了实现模型生成不同分辨率的视频效果，我们在多维度参数设置上进行同步训练 。通过让模型在各种分辨率、宽度、高度及持续时间组合下进行充分训练后发现，在经过不同配置测试后仍能良好泛化至未知参数组合情况。我们在实验过程中发现，在统一原始视频尺寸前需确保所有输入样本均包含大致相同数量的可比较令牌信息以避免偏差现象的发生。通过引入从0%到20%速率实施随机标记dropping的方法我们成功消除了对复杂序列打包或填充策略依赖从而降低了算法实现难度同时保证了数据多样性得以保留

Training on Images

我们采用了图像训练与常规视频训练相结合的方式，并将其定义为基于分辨率和持续时间的组合形式之一。通过结合这些数据集，在一定程度上拓展了概念范畴。

---

数据准备

基于可靠来源的强健官方授权数据集合构成了我们的训练数据集的核心基础，在此保障下实现了多样化训练环境的同时也保证了全面的数据覆盖能力。在本节中阐述了我们的数据处理管道——见图 11。在这一过程中实施的质量把关及过滤质量把关构成了数据准备过程的关键环节

我们训练并使用美学模型来评估视频和图像。

该模型基于成千上万幅图像对进行训练，并通过人工标注筛选出高质量的图像。

为了实现手动标注的目的，在本研究中我们采用了多标签网络模型，并对数百个样本进行了标注工作；随后我们仅选择那些至少拥有三个关键标签中一个的样本配对，并将这些配对用于后续分析；这种方法有助于减少基于美学筛选数据时可能出现的分布偏移

通过训练数据对孪生网络（Siamese Network）进行学习**...以预测每个样本的质量评分并维持其配对间的时空顺序关系 ，这一过程一旦完成就会生成相应的质量评分并移除表现不佳的数据点

该流程致力于筛选出最具吸引力的内容片段，并对该阶段至关重要。
这一阶段对于优化模型性能并产出高质量的结果具有不可替代的作用。

动态与宽高比过滤

除了进行美学优化之外，在这一过程中我们还主动去除那些运动模糊较为明显的视频样本。这一措施有助于使数据集更加聚焦于更适合模型能力所需的动力学场景。此外，在这一阶段中，我们对所有视频文件进行了统一格式化处理，并通过裁剪操作去除了画面四周的黑色边框区域。

通过美学内容进行微调

在微调阶段中, 我们特意筛选并使用经过筛选后挑选出的艺术价值最高的内容片段. 通过这种策略能够实现使生成内容呈现出更为具有视觉吸引力的特点, 同时也能满足专业标准下的图像与视频质量要求.

有关我们过滤数据中剪辑持续时间分布的信息，请参见图 14b。

标题和元数据增强

为了提升训练数据的质量和多样性程度（元数据），本研究采用了内部自动图像和视频标题生成器，并对该训练集实施了系统性重命名或重命名过程

实验

训练

我们基于 ADAM-W 优化器对我们的模型进行训练，在预训练基础上，我们采用高质量美学视频的数据子集对我们的模型进行微调。

Evaluation

在回顾了MovieGen [2] 的研究后，在现有研究的基础上我们展开了系统性的人类评估工作

每个类别下模型的结果表现为各自取得胜利测试的比例（基于计算公式wins/(wins + loss)）。调查结果如表 2 所示。从图中可见，在与同类规模模型的竞争中,** LT-X-Video 显著超越了其他选项**, 尽管其速度表现更为突出。图15则展示了配对比较中的胜率情况.值得注意的是，在我们的评估过程中，并非仅限于比较LTX-Video与其他单一模型的情况；而是涵盖了所有可能的模型配对组合

消融

RoPE 频率间距

在第2.2.1节中探讨

降噪 VAE Decoder

我们的整体方法通过利用最后一个去噪步骤以及将潜在空间中的数据转换为像素值来实现VAE解码器的任务。为了验证这一设计选择的有效性,我们进行了内部用户研究,通过比较我们方法生成的结果与传统方法生成的结果来评估其性能差异.对于第一组实验结果,VAE解码器在时间步t=0.05时作为条件;而对于第二组实验,则在t=0.0时运行VAE解码器而不执行去噪操作.实验结果显示,在用户体验方面,我们的方法显著优于传统方案.在高运动视频场景中,这种改进效果尤为明显,因为强压缩引起的伪影问题已被VAE解码器的最后一阶段去噪过程有效缓解.

限制

模型对提示表述的敏感性

虽然 LTX-Video 展现了卓越的提示遵循效果。
然而其性能严重受限于文本提示的清晰度和明确度。
可能造成输出连贯性受到影响。

对长视频的有限支持

当下而言

特定领域的泛化能力

模型在特定领域任务中的适应能力（例如多视角合成或细粒度编辑）有待系统性评估。需通过针对性实验验证其在专业应用场景中的实际效果。

社会限制

可及性与民主化

在设计理念中，默认考虑到了可用性。相较于大多数依赖高端硬件资源和高计算需求的先进文本转视频解决方案而言,经过优化后的新方案不仅运行效率显著提升,并且能够在中端级图形处理器上实现稳定运行。这一设计理念不仅降低了进入高级文本转视频技术门槛,并且为研究者、开发者以及普通爱好者提供了便捷的入口。

开源贡献

通过开源我们的模型, 我们致力于推动创新并增强人工智能社区的合作关系. 开放获取的模型将允许多样化应用的开发或采用, 并特别支持教育工具、创意内容创造以及为小型及中型企业提供快速原型搭建的需求. 这些企业通常面临获取训练大型模型所需资源的困难.

环境考虑

我们的模型采用了模块化设计不仅在硬件资源有限的情况下实现了较好的性能而且在降低能耗方面表现突出这为人工智能技术的绿色可持续发展提供了有力的技术支撑

潜在风险与缓解

尽管我们的模型降低了准入门槛,但也认识到这类通用技术可能引发风险,例如滥用该技术可能导致产生误导性内容.因此,在文档中我们提供了明确的指导方针和免责声明,以鼓励负责任地使用相关内容.

总结

LTX-Video是一种融合了先进变换器架构的新颖扩散模型框架，在文本到视频和图像到视频生成领域展现出卓越性能。该技术通过突破传统扩散模型在时间建模上的限制，并优化了空间压缩效率，在生成速度上较实时模式实现了显著提升的同时还兼顾了更高的运动保真效果和生成过程中的时间一致性，并在与输入提示信息或初始帧之间的一致性上表现更为出色。

LTX-Video的主要关注点是整合潜在扩散的整体方法。它实现了完美结合 Video-VAE 和去噪变换器。这种集成通过将补丁操作转移至 VAE 编码器而非变换器输入来实现，并且能够Achieve efficient handling within the compressed latent space. 此外，该模型提出了一种新型统一扩散目标，并 seamless地将其融入到 both the VAE decoder and the transformer modules. 这样的整合确保了 training过程中最终扩散步骤与潜到像素的解码阶段的有效结合

LTX-Video 创创性地奠定了文本到视频生成的新标准，在速度和质量上超过了同类开源模型。该系统展现出卓越的画面清晰度，并维持稳定的一致性并严格遵守提示内容；其潜力凸显出潜在扩散模型在该领域的巨大发展潜力

LTX-Video 的开放性得到了进一步扩展,这一现象部分归因于其创新性的高效计算架构,使得该视频渲染解决方案能够在主流消费级 GPU 设备上实现高性能运算。研究表明,通过降低了硬件配置的需求,LTX-Video 成功吸引了那些 previously 无法获取高性能计算资源的研究者、开发者以及创意工作者进入这一领域进行深入探索与技术革新。

未来的研究重点应关注如何拓展LTX-Video架构以支持时长更大的视频序列；为此建议整合先进的时空一致性算法，并深入探讨其在特定领域任务中的适用性；例如多视角重建与精细运动编辑等。通过显著提升生成效率与内容质量目标** ，LTX-Video 已经成为创意内容创作、可行的人工智能应用以及可扩展视频建模的重要技术方案之一