0

0

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

王林

王林

发布时间:2024-07-11 12:37:22

|

400人浏览过

|

来源于机器之心

转载

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

3D生成是生成式人工智能和计算机图形学领域最引人注目的话题之一,符合影视、游戏标准的3D生成尤其受产业界关注。在生产流程中,一般品类的3D资产往往通过手工建模或者扫描的方式制作。但作为3D资产的一个重要类别,服装资产的往往来源于平面板片与物理模拟等流程,而不是直接在3D上建模。

上海科技大学、影眸科技与宾夕法尼亚大学联合提出DressCode,它是首个完全支持 CG 操作,能够兼容到工业流程的 3D 服装生成框架,并通过文本的引导,实现自动生成具有高质量渲染效果、可编辑、可驱动、可仿真的 3D 服装。SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片
Dresscode已经被计算机图形领域国际顶级期刊 Transactions on Graphics 接收,并将在国际计算机图形顶级会议 SIGGRAPH 2024 上展示。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

siggraph2024|上科大、影眸联合提出dresscode:从文本生成3d服装板片

  • 项目链接:https://sites.google.com/view/projectpage-dresscode
  • 论文链接:https://arxiv.org/abs/2401.16465

引言

服装在人类外观中扮演着重要角色,这突显了服装数字化对于数字人创造的重要性。近期在 3D 内容创造领域的巨大进展对于数字人的创造至关重要。

然而,对于服装生成的工作仍有空缺,由于通用生成方法生成的网格或神经场与实际数字服装生产流程不兼容,使这类方法直接应用于服装类别并未能达到很好的效果。

为了解决这些问题,来自影眸科技与上海科技大学的研发团队提出了一个文本驱动的 3D 服装生成框架——DressCode,旨在为初学者设计数字服装简单化,并在时尚设计、虚拟试穿和数字人创造提供巨大潜力。

该框架可以通过自然语言交互生成对 CG 流程友好的服装模型,并且还便于版片补全和纹理编辑, 通过用户友好的交互简化了设计过程。本文将对 DressCode 的主要功能进行详细介绍,并探讨其在实际设计场景中的应用前景。

SewingGPT 框架概述

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

对于版片生成模块,该论文提出了 SewingGPT,这是一个基于 GPT 的自回归模型,用于通过文本提示生缝纫版片。其首先将缝纫版片参数转换为一系列量化的token,训练了一个 Decoder-only Transformer。并通过在Transformer中融合使用文本提示词的交叉关注力,来达到用文本来引导生成结果。

训练完成后,该模型可以根据用户条件自回归地生成token序列,并将生成的序列经过反向量化来得到生成的缝纫版片参数。

DressCode 框架概述

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

借助 SewingGPT,该框架能够直接从文本提示中生成多样化的缝纫版片。由于材质贴图在 CG 流程中非常关键,该框架为这些版片生成相应的基于物理的纹理,更紧密地与服装设计工作流程相契合。

作者们提出的DressCode框架,通过利用 SewingGPT 和 PBR 纹理生成器来生成3D服装的几何部分与纹理部分,并且进一步利用大型语言模型通过自然语言交互为用户创建定制服装。

在实现通过文本提示生成缝纫版片和纹理之后,为了在实际场景中使设计师能够使用自然语言与生成器交互,而不是依赖于数据集格式的提示,作者们采用 GPT-4 进行内容学习,以解释用户的自然语言输入,生成几何提示词和纹理提示词。

这些提示词输入到 SewingGPT 和 PBR 纹理生成器后,得到生成的缝纫版片与纹理,并经过仿真、渲染得到最终的结果。同时,生成的服装以及 PBR 纹理可以被无缝整合到工业软件中,可以与人体模型进行动画驱动,并在各种照明下进行渲染,确保生动、逼真的效果。

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

版片补全能力

得益于自回归模型,SewingGPT可以通过利用模型提供的概率预测,在接收到部分版片信息后补全整个缝纫版片。此外,输入一个文本提示可以指导模型补全缝纫版片。如给定一个袖子后, 该模型能够根据不同的提示补全完成各种缝纫版片。这使得用户能够手动设计部分版片,利用 SewingGPT 进行灵感激发并基于文本提示来补全服装。

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

蓝心千询
蓝心千询

蓝心千询是vivo推出的一个多功能AI智能助手

下载
纹理编辑能力

在近期大多 3D 生成任务中,无法产生结构化的 UV 映射是对实际应用场景一个重大障碍,尤其是在生成服装时,使其无法用于实际设计场景。本文提出的生成方法,利用缝纫版片表示,使得能够创建每个版片独特且结构化的 UV 映射。这也促使用户可以在特定位置便捷得编辑纹理,支持对纹理贴图进行高效的后处理。

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

应用和展望

DressCode 框架在与其他方法比较中取得了优异的成绩,该框架作为第一个基于缝纫版片的服装生成工作,能够让初学者和专业设计师都能通过简单的文本提示生成高质量的缝纫版片和 PBR 纹理,使服装设计流程大幅简单化。

SIGGRAPH2024|上科大、影眸联合提出DressCode:从文本生成3D服装板片

DressCode 的易用性和创新方法有望推动数字服装的未来发展。这类以缝纫版片为基础的生成任务,将推动虚拟试穿、时尚设计和数字人创造的数字服装领域的发展,让我们共同期待。

相关专题

更多
登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6027

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

778

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1044

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1062

2024.03.01

人工智能在生活中的应用
人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容,供大家免费下载体验。

392

2023.08.17

人工智能的基本概念是什么
人工智能的基本概念是什么

人工智能的英文缩写为AI,是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

283

2024.01.09

人工智能不能取代人类的原因是什么
人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

618

2024.09.10

Python 人工智能
Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用,系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例(如房价预测、图像分类、文本情感分析),帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

32

2025.10.21

虚拟号码教程汇总
虚拟号码教程汇总

本专题整合了虚拟号码接收验证码相关教程,阅读下面的文章了解更多详细操作。

25

2025.12.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号