全球知名的图形处理单元（GPU）制造商NVIDIA计划在SIGGRAPH 2023上发布20篇人工智能（AI）领域的研究论文，这些论文旨在提升产品品质。这些研究成果是NVIDIA的研究人员与美国、欧洲和以色列超过12所不同大学的合作成果。2023年SIGGRAPH大会将于8月6日至10日在洛杉矶举行，届时将展示这些论文。
SIGGRAPH是一个由ACM SIGGRAPH组织的年度会议，它结合了学术报告和行业贸易展览。它是计算机图形学领域最具影响力的学术出版物之一。这些论文包括生成性AI模型、神经渲染模型等。今年的SIGGRAPH将展示AI驱动的视觉细节和逼真的3D头部及肩部模型等主题的演讲，这些发展将使企业和开发者能够更快地为训练机器人和自动驾驶车辆使用的虚拟环境创建合成数据。
将文本转化为图像的生成性AI工具在为电影、视频游戏、模拟应用和3D虚拟世界创建故事板和概念艺术方面非常强大。它们可以将“儿童玩具”这样的提示转化为几乎无限的视觉效果，激发创生成填充动物、积木或拼图的图像。然而，艺术家可能经常有特定的主题在心中。两篇SIGGRAPH论文由特拉维夫大学和NVIDIA的研究人员开发，以实现生成性AI输出的这种特定性。这些论文允许用户提供图像示例，模型可以快速从中学习，使个性化过程从分钟加速到大约11秒在单个NVIDIA A100 Tensor Core GPU上。这比以前的个性化方法快60倍以上！
在为虚拟世界创建概念艺术之后，下一步是渲染环境并添加3D角色和对象。NVIDIA Research正在开发可以自动将2D照片和视频转换为3D表示的AI技术。这将进一步加快转换和渲染的繁琐过程。此外，这项突破性的AI技术使3D头像创建和3D视频会议变得易于访问。加州大学圣地亚哥分校的研究人员创建了基于单个2D肖像生成和渲染逼真3D头部及肩部模型的技术。这一发展是将3D头像创建和3D视频会议提升到一个全新水平的重大突破。
NVIDIA与斯坦福大学合作，为3D角色赋予逼真的动作。研究人员开发了一种AI系统，可以从实际网球比赛的2D视频录像中适应各种网球击球动作，并将它们融入3D人物中。计算机生成的网球运动员可以在虚拟球场上进行长时间的拉锯战，甚至可以精确地将球击向目标位置。这项研究展示了AI在创建虚拟环境中逼真动作的潜力。
一旦AI生成了3D角色，艺术家可以添加额外的逼真细节，如头发，这对动画师来说是一个复杂的计算挑战。NVIDIA团队开发了一种方法，可以使用神经物理以高分辨率和实时渲染数万根头发。使用这种AI技术，神经网络可以预测物体在现实世界中的运动方式。团队为现代GPU量身定制的准确模拟全尺度头发的创新方法。与最先进的基于CPU的求解器相比，这种AI提供了显著的性能提升。
实时渲染是模拟虚拟场景中光反射的物理过程。NVIDIA的最新研究表明，AI模型可以为纹理、材料和体积提供电影质量的逼真图像，用于视频游戏和数字孪生实时渲染。在一篇SIGGRAPH论文中，NVIDIA将展示神经纹理压缩技术，该技术可以在不使用额外GPU内存的情况下提供多达16倍的纹理细节。如下图所示，神经纹理压缩可以显著提高3D风景的真实感。
NVIDIA在AI和计算机图形学的进步必将彻底改变游戏产业、电影制作和机器人技术。在SIGGRAPH 2023上展示的研究论文展示了NVIDIA对创新的承诺。它们还展示了其继续努力推动可能性边界的决心。这些突破很可能会为AI、图形学等领域的许多新发展铺平道路。
除了上述进展外，NVIDIA研究人员还开发了其他将在SIGGRAPH 2023上展示的AI技术。这些包括逆向渲染，可以将静态图像转化为3D对象，以及使用AI以惊人的现实感模拟复杂3D元素的神经物理模型。此外，像NVIDIA Omniverse和NVIDIA Picasso这样的AI驱动工具将从这些研究进展中大大受益。NVIDIA Omniverse是一个构建和运营元宇宙应用的平台。NVIDIA Picasso是一个为视觉设计定制的生成性AI模型的铸造厂。