SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

王林

发布时间：2024-07-11 12:37:22

400人浏览过

来源于机器之心

转载

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

3D生成是生成式人工智能和计算机图形学领域最引人注目的话题之一，符合影视、游戏标准的3D生成尤其受产业界关注。在生产流程中，一般品类的3D资产往往通过手工建模或者扫描的方式制作。但作为3D资产的一个重要类别，服装资产的往往来源于平面板片与物理模拟等流程，而不是直接在3D上建模。

上海科技大学、影眸科技与宾夕法尼亚大学联合提出DressCode，它是首个完全支持 CG 操作，能够兼容到工业流程的 3D 服装生成框架，并通过文本的引导，实现自动生成具有高质量渲染效果、可编辑、可驱动、可仿真的 3D 服装。

Dresscode已经被计算机图形领域国际顶级期刊 Transactions on Graphics 接收，并将在国际计算机图形顶级会议 SIGGRAPH 2024 上展示。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

siggraph2024｜上科大、影眸联合提出dresscode：从文本生成3d服装板片

项目链接：https://sites.google.com/view/projectpage-dresscode
论文链接：https://arxiv.org/abs/2401.16465

引言

服装在人类外观中扮演着重要角色，这突显了服装数字化对于数字人创造的重要性。近期在 3D 内容创造领域的巨大进展对于数字人的创造至关重要。

然而，对于服装生成的工作仍有空缺，由于通用生成方法生成的网格或神经场与实际数字服装生产流程不兼容，使这类方法直接应用于服装类别并未能达到很好的效果。

为了解决这些问题，来自影眸科技与上海科技大学的研发团队提出了一个文本驱动的 3D 服装生成框架——DressCode，旨在为初学者设计数字服装简单化，并在时尚设计、虚拟试穿和数字人创造提供巨大潜力。

该框架可以通过自然语言交互生成对 CG 流程友好的服装模型，并且还便于版片补全和纹理编辑，通过用户友好的交互简化了设计过程。本文将对 DressCode 的主要功能进行详细介绍，并探讨其在实际设计场景中的应用前景。

SewingGPT 框架概述

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

对于版片生成模块，该论文提出了 SewingGPT，这是一个基于 GPT 的自回归模型，用于通过文本提示生缝纫版片。其首先将缝纫版片参数转换为一系列量化的token，训练了一个 Decoder-only Transformer。并通过在Transformer中融合使用文本提示词的交叉关注力，来达到用文本来引导生成结果。

训练完成后，该模型可以根据用户条件自回归地生成token序列，并将生成的序列经过反向量化来得到生成的缝纫版片参数。

DressCode 框架概述

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

借助 SewingGPT，该框架能够直接从文本提示中生成多样化的缝纫版片。由于材质贴图在 CG 流程中非常关键，该框架为这些版片生成相应的基于物理的纹理，更紧密地与服装设计工作流程相契合。

作者们提出的DressCode框架，通过利用 SewingGPT 和 PBR 纹理生成器来生成3D服装的几何部分与纹理部分，并且进一步利用大型语言模型通过自然语言交互为用户创建定制服装。

在实现通过文本提示生成缝纫版片和纹理之后，为了在实际场景中使设计师能够使用自然语言与生成器交互，而不是依赖于数据集格式的提示，作者们采用 GPT-4 进行内容学习，以解释用户的自然语言输入，生成几何提示词和纹理提示词。

这些提示词输入到 SewingGPT 和 PBR 纹理生成器后，得到生成的缝纫版片与纹理，并经过仿真、渲染得到最终的结果。同时，生成的服装以及 PBR 纹理可以被无缝整合到工业软件中，可以与人体模型进行动画驱动，并在各种照明下进行渲染，确保生动、逼真的效果。

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

版片补全能力

得益于自回归模型，SewingGPT可以通过利用模型提供的概率预测，在接收到部分版片信息后补全整个缝纫版片。此外，输入一个文本提示可以指导模型补全缝纫版片。如给定一个袖子后，该模型能够根据不同的提示补全完成各种缝纫版片。这使得用户能够手动设计部分版片，利用 SewingGPT 进行灵感激发并基于文本提示来补全服装。

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

SlidesAI

使用SlidesAI的AI在几秒钟内创建演示文稿幻灯片

下载

纹理编辑能力

在近期大多 3D 生成任务中，无法产生结构化的 UV 映射是对实际应用场景一个重大障碍，尤其是在生成服装时，使其无法用于实际设计场景。本文提出的生成方法，利用缝纫版片表示，使得能够创建每个版片独特且结构化的 UV 映射。这也促使用户可以在特定位置便捷得编辑纹理，支持对纹理贴图进行高效的后处理。

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

应用和展望

DressCode 框架在与其他方法比较中取得了优异的成绩，该框架作为第一个基于缝纫版片的服装生成工作，能够让初学者和专业设计师都能通过简单的文本提示生成高质量的缝纫版片和 PBR 纹理，使服装设计流程大幅简单化。

SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

DressCode 的易用性和创新方法有望推动数字服装的未来发展。这类以缝纫版片为基础的生成任务，将推动虚拟试穿、时尚设计和数字人创造的数字服装领域的发展，让我们共同期待。

理想汽车“二次创业” 2026年能否重回牌桌

AI生成头像可控性有多强？实测8款工具的“自定义”功能（调整表情/更换背景/指定服饰）

2025年20万以上轿车销量出炉小米SU7力压帕萨特夺冠

贾跃亭：法拉第未来当前股价被严重低估目标价5美元

保时捷中国谈东安经销商跑路事件：全力保障客户权益

相关专题

登录token无效

登录token无效解决方法：1、检查token的有效期限，如果token已经过期，需要重新获取一个新的token；2、检查token的签名，如果签名不正确，需要重新获取一个新的token；3、检查密钥的正确性，如果密钥不正确，需要重新获取一个新的token；4、使用HTTPS协议传输token，建议使用HTTPS协议进行传输；5、使用双因素认证，双因素认证可以提高账户的安全性。

6144

2023.09.14

登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容，供大家免费下载体验。

816

2023.09.14

token怎么获取

获取token值的方法：1、小程序调用“wx.login()”获取临时登录凭证code，并回传到开发者服务器；2、开发者服务器以code换取，用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容，可以阅读本专题下面的文章。

1065

2023.12.21

token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易，用来购买或出售特定的虚拟货币，也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1342

2024.03.01

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2073

2024.08.16

Python 自然语言处理（NLP）基础与实战

本专题系统讲解 Python 在自然语言处理（NLP）领域的基础方法与实战应用，涵盖文本预处理（分词、去停用词）、词性标注、命名实体识别、关键词提取、情感分析，以及常用 NLP 库（NLTK、spaCy）的核心用法。通过真实文本案例，帮助学习者掌握使用 Python 进行文本分析与语言数据处理的完整流程，适用于内容分析、舆情监测与智能文本应用场景。

2026.01.27