字节跳动正式推出名为 dreamontage 的帧级引导式视频生成技术，其核心突破在于支持“任意帧位置精准引导的一次性长视频生成”，可高效构建自然流畅的长镜头及多层级场景转换。
https://www.php.cn/link/0580d4d230ff5956f79a7c9540f04292
DreaMontage 主要能力亮点：
- 关键帧灵活插值生成：用户可在时间轴任意位置设定图像关键帧，模型自动合成严格匹配各关键帧内容的完整视频序列
- 多段视频智能缝合：支持将多个独立视频片段无缝拼接，实现风格统一、运动连贯的主题跃迁或空间转场
- 动态混合条件注入：允许在任意时间点嵌入静态图或动态片段，驱动模型生成逻辑自洽、过渡自然的连续视频
- 终止帧定向生成：支持以指定图像为最终帧反向/正向推演视频，确保结尾画面精准可控
- 原始视频延展增强：可在保留原始内容基础上，智能延伸时长并丰富画面细节与动作表现
据悉，DreaMontage 架构专为高度自由的帧级控制而生，能够融合多样化输入（如图像、视频片段、文本提示等），输出视觉连贯、艺术表现力强、时长可精确调控的单镜次高质量视频。
该技术通过三大关键技术路径解决行业瓶颈：
- 在 DiT（Diffusion Transformer）主干中嵌入轻量化中间条件注入模块。借助基于原始预训练数据的自适应微调策略，显著增强对任意插入帧的位置感知与内容响应能力。
- 聚焦视觉真实感与电影化质感提升：构建高保真、高多样性视频训练数据集，并引入视觉表达专项监督微调（SFT）；针对主体运动合理性、跨帧一致性、转场平滑度等核心挑战，定制化设计 DPO（Direct Preference Optimization）优化流程，大幅提高生成结果的稳定性与落地可用性。
- 面向长视频生成需求，提出内存友好的分段自回归（SAR）推理范式。实测表明，该策略在不牺牲计算效率的前提下，稳定输出具备影院级观感、无断裂感的单镜头长视频，助力用户将零散影像素材升维为沉浸式叙事作品。
论文链接：https://www.php.cn/link/8005daff056ac11c0189ee7367161c6b
源码仓库：点击下载
