lingen是由普林斯顿大学与meta联合开发的一种全新的文本生成视频框架。该框架采用线性复杂度的mate模块（包含ma-branch和te-branch），取代传统diffusion transformers中计算复杂的自注意力机制，从而实现在单个gpu上高效生成高分辨率、长时间段的视频内容。lingen在降低计算开销的同时保持高质量输出，在视频质量和生成效率方面均优于现有先进模型，为长视频生成及实时交互式应用提供了新方向。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
LinGen的核心功能
- 高分辨率视频生成：支持生成如512p、1024p等高清视频，满足专业级内容创作需求。
- 长时长视频输出：可生成分钟级别的视频，突破以往只能生成10-20秒短视频的限制。
- 线性复杂度结构：基于MATE模块实现线性计算复杂度，显著减少资源消耗，适合在单一GPU设备上运行。
- 优质视频表现：生成的视频在画面质量、文字匹配和帧间连贯性方面表现优异。
- 支持实时交互生成：具备实时生成与编辑能力，适用于多种动态内容制作场景。
LinGen的技术架构
-
MA-branch（多尺度注意力分支）：
- 双向Mamba2模块：采用高效的线性序列模型Mamba2，并通过双向设计捕捉序列中的前后依赖关系。
- Rotary Major Scan（RMS）：通过不同扫描方式（如空间行优先、列优先，时间行优先、列优先）重新排列3D视频token张量，增强局部相关性并降低延迟。
- Review Tokens：在处理前添加平均池化token，提供整体序列概览，强化远距离关联。
- TE-branch（时间注意力分支）：将3D视频token划分为窗口并在窗口内计算自注意力，TESA机制能捕捉空间邻近与时间中距token之间的联系；窗口在各层之间交替移动以扩大感受野，提升视频一致性。
- 线性计算优化：得益于MATE模块的设计，LinGen的计算复杂度与像素数量呈线性增长，而非传统模型的二次增长，极大提升了生成效率。
- 渐进训练策略：首先在低分辨率图像任务上预训练，随后逐步提升视频分辨率与时长进行训练；结合图文对混合训练，提高视频连贯性；最终在高质量视频数据集上微调，进一步优化输出效果。
LinGen的项目信息
- 项目官网：https://www.php.cn/link/407c334809565d941338efc9e3a9f687
- GitHub仓库：https://www.php.cn/link/3f1176741b1b079bdc7a2e7f208c902f
- 技术论文链接：https://www.php.cn/link/4c2aeb849fab47239887f8bf9c8e6278
LinGen的应用领域
- 内容创作：用于快速生成电影、电视剧、广告等内容，缩短制作周期并降低成本。
- 游戏娱乐：生成游戏过场动画和背景视频，增强视觉沉浸感。
- 教育与培训：制作教学视频和实验演示，提高学习趣味性和互动性；为企业员工培训提供直观的学习材料。
- 广告营销：快速生成多样化广告视频，适应不同投放场景，提升传播效率。
- 艺术创意：作为新型创作工具，为艺术家提供灵感激发和视频艺术表达的新方式。
