字节跳动数字人团队最新发布的多模态数字人方案omnihuman，在肖像音频驱动技术领域取得突破性进展，其前身是曾在x平台引发热议的loopy技术。omnihuman能够基于单张图片和一段音频生成逼真生动的视频，显著提升了视频生成效果的自然度。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
OmniHuman生成的视频中人物动作自然流畅：
该方案的核心优势在于其强大的单模型处理能力，能够兼容各种尺寸和人物占比的图片，并支持多种动作生成，包括演讲、唱歌、演奏乐器以及移动等，同时有效改善了现有技术中常见的手势变形问题。
更令人惊喜的是，OmniHuman还支持动漫和3D卡通等非真人图像的视频生成，并能很好地保留其原有风格。该技术已落地即梦AI平台，相关功能即将上线测试。
更多细节和演示效果，请访问：
- 项目主页：https://www.php.cn/link/aff272815fa63358420d88a9c6d37b91
- 技术报告：https://www.php.cn/link/8a618b8f8f01a09230853dbe6f581c27
技术突破：
OmniHuman克服了现有技术对高度过滤训练数据和受限场景的依赖，通过创新的Omni-Conditions Training混合多模态训练策略，从大规模数据中学习，有效提升了模型的泛化能力和生成效果的自然度。该策略遵循两个核心原则：
- 利用较弱条件任务的数据来扩展较强条件任务的训练数据规模。
- 较强条件任务的训练比例应低于较弱条件任务。
基于此，OmniHuman采用分阶段训练，逐步引入文本、图像、音频和姿态等多种模态数据，并调整其训练比例，最终实现单模型对多种模态的兼容和高效处理。
效果对比及结论：
OmniHuman在效果对比中展现出显著的优势，其单模型性能优于现有针对不同人物占比的专用模型。通过Omni-Conditions Training，模型在手势生成和多样化图像处理方面也取得了显著改进。
总而言之，OmniHuman是一个突破性的端到端多模态人像视频生成框架，它解决了高质量数据稀缺的问题，并能生成生动、高质量的人像动画视频，支持任意纵横比的图像输入。
团队介绍：
该技术由字节跳动智能创作数字人团队研发，该团队隶属于字节跳动AI & 多媒体技术中台，致力于研发领先的智能创作技术，并为公司内部和外部合作伙伴提供相应的技术能力和解决方案。
