adobe research 提出 motionbridge：一种统一的多模态可控视频生成与编辑模型
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
AIxiv专栏持续报道全球顶尖AI研究成果。本文介绍的MotionBridge模型，由Simon Fraser University博士生Maham Tanveer（导师为Hao (Richard) Zhang, IEEE Fellow, Distinguished Professor，SIGGRAPH 2025 Paper Chair）和Adobe Research研究科学家Nanxuan (Cherry) Zhao共同研发。Zhao博士的研究方向为多模态可控生成和编辑，拥有丰富的跨学科研究经验（图形学+图像+人机交互）。
继Firefly视频大模型发布后，Adobe持续深耕视频生成和编辑的精细化控制。MotionBridge模型突破传统图像动画（image animation）的局限，支持多种模态控制，包括关键帧、稀疏轨迹、掩码、引导像素和文本。以下是一些令人印象深刻的演示效果：
1. 稀疏轨迹控制: 通过简单的轨迹笔画，即可实现逼真的动画效果，例如小熊的灵活运动。
2. 掩码控制: MotionBridge不仅能控制物体运动，结合掩码和轨迹，还能轻松控制镜头视角。掩码可指定动态区域和静态区域（例如，让桃林围绕城堡旋转，而城堡保持静止）。
3. 引导像素控制: 通过在指定帧的指定位置粘贴目标像素区域，实现更精准的像素级控制，例如控制船只的航行轨迹。
4. 关键帧控制: MotionBridge支持关键帧控制，实现场景的平滑过渡，尤其适用于长视频合成/生成。它不仅能生成比传统插帧方法更复杂丰富的动作，还能与多种模态控制自然结合。
MotionBridge还支持文本交互，并能提升图生视频和文生视频的质量，降低歧义，增强视频的复杂度和可控性。更多细节请参考官方视频和论文。
技术概述:
MotionBridge采用基于扩散模型（DiT）的架构，具有良好的普适性。它以插帧为基础，通过输入1-n张关键帧生成视频，并提供多种可控信号，显著提升了视频生成的质量和可控性。 它解决了传统插帧方法在处理大动作和精细控制方面的不足。
技术要点:
- 分类编码控制信号: 将控制信号分为内容控制和运动控制两类，分别处理，减少歧义。
- 运动轨迹表征: 提出一种从光流合成轨迹并转换为稀疏RGB点的生成器，提高运动控制的准确性。
- 空间内容控制表征: 支持掩码和引导像素等空间内容控制，增强创作灵活性。
- 课程学习策略: 采用课程学习策略，逐步提升模型对复杂控制的学习能力。
实验结果:
MotionBridge在生成质量和多模态控制能力上均优于现有SOTA算法。消融实验验证了其关键技术设计（分类编码融合和课程学习）的有效性。
