dancegrpo 是字节跳动 seed 和香港大学共同研发的首个统一视觉生成强化学习框架。该框架创新性地将强化学习应用于视觉生成领域，涵盖了两种生成模式（扩散模型和修正流模型）、三种任务类型（文本到图像、文本到视频、图像到视频）、四种基础模型（sd、hunyuanvideo、flux、skyreels-i2v）以及五种奖励模型（图像视频美学、图文匹配、视频动态质量、二元奖励）。dancegrpo 针对现有视觉生成任务中 rlhf 方法的不足之处进行了改进，实现了在多种生成模式、任务、基础模型和奖励模型间的无缝切换，大幅提升了模型性能，降低了显存消耗，并适应大规模提示数据集的训练，同时能够扩展至修正流和视频生成模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
DanceGRPO的核心功能
- 提高视觉生成质量：使生成的图像和视频更加贴近人类审美，更加真实、自然。
- 整合多种生成模式和任务：支持文本到图像、文本到视频、图像到视频等多种任务类型。
- 兼容多种模型与奖励机制：适配多种基础模型和奖励模型，以满足多样化的使用需求。
- 优化训练效率与稳定性：减轻显存负担，加速训练进程，增强训练的可靠性。
- 强化人类反馈学习能力：促使模型更有效地从人类反馈中学习，生成更符合人类期待的内容。
DanceGRPO的工作原理
- 将去噪过程建模为马尔可夫决策过程：把扩散模型和修正流模型的去噪步骤视为马尔可夫决策过程（MDP），其中提示被视为状态的一部分，去噪过程中的每个步骤都被看作是一个动作，从而构建了强化学习的基础架构。
- 基于随机微分方程的采样方法：为了满足 GRPO 对随机探索的需求，DanceGRPO 将扩散模型和修正流模型的采样流程统一表述为随机微分方程（SDE）的形式。对于扩散模型，正向 SDE 描述的是数据逐步添加噪声的过程，而反向 SDE 则用于生成数据；对于修正流模型，则通过引入 SDE 来实现反向过程的随机性，为强化学习提供了必需的随机探索机制。
- 利用 GRPO 目标函数进行优化：借鉴 Deepseek-R1 中的 GRPO 策略，针对特定提示生成一组输出样本，并依据最大化 GRPO 的目标函数来优化策略模型。此目标函数兼顾奖励信号及不同样本间的优势函数，使得模型在训练期间能够更高效地学会根据奖励信号调整生成策略，从而提高生成结果的质量及其与人类偏好的契合度。
- 初始噪声与时间步长选择策略：在 DanceGRPO 框架内，初始噪声的选择至关重要。为了避免奖励操纵现象的发生，DanceGRPO 为源自相同文本提示的所有样本分配共享的初始噪声。此外，DanceGRPO 还采用了一种时间步长选择策略，在不影响性能的前提下减少计算量，提升训练效率。
- 多奖励模型的集成与优势函数聚合：为了保证训练的稳定性和生成结果的高品质，DanceGRPO 实际操作中会运用多个奖励模型。鉴于不同的奖励模型可能存在不同的量纲和分布，DanceGRPO 采取基于优势函数聚合的方式，更好地协调各奖励模型的贡献，使模型在优化过程中全面考量多个评估指标，生成更贴合人类预期的视觉内容。
DanceGRPO的项目资源
- 项目主页：https://www.php.cn/link/4fb504afa03df952fc9b215310d9d51a
- GitHub仓库：https://www.php.cn/link/9b3283db416902b9c8912bc05b9fee78
- arXiv技术文档：https://www.php.cn/link/e024a97d9de60d7f9ea098651934a7df
DanceGRPO的实际应用
- 文本到图像生成：按照文本描述创建高水准的图像，适用于广告设计、游戏开发等行业，助力提升创作速度。
- 文本到视频生成：依据文本生成流畅且连贯的视频，适合视频广告、教育培训视频制作，削减人工投入。
- 图像到视频生成：把静态图像转换成动态视频，可用于动画制作、虚拟现实，增添视觉享受。
- 多模态内容创作：融合文本、图像和视频生成多元化内容，应用于多媒体教育、互动娱乐等领域，加强沉浸感。
- 创意设计与艺术创作：协助艺术家和设计师迅速获取创意灵感和艺术作品，激发更多创新思维，提高工作效率。
