在3d生成技术需求持续攀升的当下，如何快速构建结构合理、几何细节丰富的三维模型，已成为aigc与数字内容生产领域的核心难题。
尽管近年来3D生成技术不断突破，精度显著提升，但大多数现有方法在效率与质量之间仍难以兼顾，尤其在高分辨率建模场景中，高昂的计算成本严重拖慢生成速度，制约了实际应用的推广。
为应对这一挑战，南洋理工大学携手数美万物、西湖大学共同推出全新3D生成框架——Ultra3D。
Ultra3D采用“由粗到精”的两阶段生成策略，高效实现高分辨率三维资产构建，刷新了当前3D生成质量的新高度。第一阶段利用轻量高效的VecSet表示法，快速生成粗略网格（coarse mesh），并转换为稀疏体素结构；第二阶段则引入新设计的局部化Part Attention机制，对每个体素进行精细化特征建模。
该机制仅在语义一致的局部区域执行注意力计算，避免了全局注意力带来的大量冗余运算，显著提升效率。该方案支持高达1024分辨率的输出，在保持高保真细节的同时，实现最高达6.7倍的加速，为三维内容的快速生成与落地应用提供了强有力的技术支撑。
研究背景
近年来，3D生成技术飞速发展，稀疏体素因其对表面细节出色的表达能力，成为众多前沿方法首选的3D表征方式。
该表征将3D物体编码为稀疏体素及其对应的latent token。虽然表达能力强大，但由于token数量庞大——在高分辨率下常超过上万——导致计算负担极重。
因此，多数先前工作不得不限制分辨率，难以进一步提升生成质量。针对此问题，Ultra3D提出一种全新的双阶段生成流程，在不牺牲质量的前提下大幅提升训练与推理效率，成功将生成能力拓展至更高分辨率与更精细细节。
方法概述
Ultra3D采用两阶段Pipeline设计：第一阶段借助紧凑高效的VecSet表征，快速生成粗略mesh，并据此生成稀疏体素的初始结构布局；第二阶段基于该布局，引入具备结构感知能力的Part Attention机制，对每个体素的latent特征进行精细化建模。
Part Attention通过几何对齐的语义分组策略，仅在局部区域内执行注意力操作，大幅减少无效计算，同时确保几何连续性与细节还原度。实验表明，Ultra3D在不损失生成质量的基础上，整体提速达3.3倍，并在多项指标上超越现有最先进方法，实现速度与真实感的双重突破。
Ultra3D的核心创新在于其专为3D建模设计的Part Attention机制。稀疏体素虽表达能力强，但因token数量过多，导致注意力机制计算开销巨大。
为此，Ultra3D提出将注意力计算限制在语义一致的part group内部，避免全局注意力的冗余，从而在不牺牲质量的前提下显著降低计算压力。
一种直观的替代方案是采用大模型中常见的window attention，但如下图所示，直接将其应用于3D场景会导致生成质量下降，原因在于其固定的窗口划分方式与3D物体的自然语义结构不匹配。
与其他方法的对比实验及用户调研显示，Ultra3D在生成质量上显著优于现有SoTA方法，能够生成包含精细结构的高分辨率mesh。注意力机制的消融实验也验证了Part Attention是更适合3D生成任务的局部注意力方案。
结语
Ultra3D提出了一种兼顾效率与高保真的创新3D生成框架，成功打破了当前主流方法在分辨率与计算成本之间的固有矛盾。
凭借“由粗到精”的双阶段架构与结构感知的Part Attention机制，Ultra3D显著提升了稀疏体素建模的效率，在维持高质量输出的同时实现多倍加速，支持高达1024分辨率的三维资产生成。
该方法不仅在多个定量指标上大幅领先现有技术，在用户主观评价中同样表现突出，能够精准还原复杂几何形态与细微纹理，如毛发、布料褶皱等，展现出卓越的细节刻画能力。
更重要的是，Ultra3D具备良好的可扩展性与通用性，为游戏开发、AR/VR、影视特效、数字孪生等领域的3D内容创作提供了更高效、更高质量的建模工具。
随着生成式AI向多模态与高保真方向加速演进，Ultra3D所展现的技术优势，标志着高分辨率3D生成迈入全新阶段。
未来，Ultra3D有望进一步拓展至动画生成、可编辑3D内容构建以及3D到4D动态建模等更复杂任务，成为推动AIGC向高维内容生成发展的关键基石。
论文链接：https://www.php.cn/link/743c11a9f3cb65cda4994bbdfb66c398
项目地址：https://www.php.cn/link/a25a6cb241dbe44d927ea9eac5a61172
一键三连「点赞」「转发」「小心心」
欢迎在评论区分享你的观点！
— 完 —
点亮星标
科技前沿动态每日更新
