风格生成对抗网络(StyleGAN)概述

风格生成对抗网络(StyleGAN)是一种在机器学习领域相对较新的理论,最初于2014年提出。其主要目的是合成人工示例,比如那些与真实照片难以区分的图像。StyleGAN的一个典型应用是通过对一组知名面孔的数据集学习,生成人工面孔图像。随着时间的推移,GAN生成的图像变得更加生动,但其主要挑战之一是如何控制输出,即在面孔图像中替换明显特征,如姿势、脸型和发型。

StyleGAN的创新之处

StyleGAN作为GAN架构的一个补充,对生成模型进行了重大修改。StyleGAN按顺序生成模拟图像,从简单分辨率开始,逐步放大到高分辨率(1024×1024)。通过单独转换每个级别的输入,它检查在该级别显现的视觉特征,从标准特征(姿势、脸型)到细节(如发色),而不改变其他级别。

最终的模型能够生成令人印象深刻的逼真高质量人脸照片,并通过改变风格向量和噪声,在不同规范级别上控制创建图像的特性。

StyleGAN架构概览

StyleGAN是渐进式GAN的延续,它提出了一种训练生成模型以合成高质量照片的方法,通过从小图像到大图像的增量发展,同时发展鉴别器和生成器模型。StyleGAN生成器不再从潜在范围中取特征作为输入;相反,它使用两个新的随机性参考来生成合成图像:独立的映射通道和噪声层。

映射网络的输出是一个向量,该向量通过一个新的层称为自适应实例归一化(adaptive instance normalization)定义了在生成器模型的特定点集成的技术。这种风格向量的优势在于它允许控制生成图像的特性。

随机变化通过在生成器模型的特定点添加湍流来提出。噪声固定在完整的特征图上,使模型能够以细粒度、逐像素的方式理解风格。这种每个区块结合风格向量和噪声的方法,为每个区块提供了限制对风格和随机变化的理解到特定细节级别的能力。

StyleGAN架构细节

StyleGAN采用了基线渐进式GAN架构,并在生成器部分提出了一些修改。然而,鉴别器架构与基线渐进式GAN相当相似。让逐一看看具体的架构差异。

基线渐进式增长GANs:StyleGAN使用基线渐进式GAN结构,这意味着生成图像的体积从小分辨率(4×4)逐步增加到高分辨率(1024 x 1024),通过在两个模型上添加新部分来保持更大的分辨率,以便在应用模型到更小分辨率后使其更加稳定。

双线性采样:在生成器和鉴别器中,论文的使用双线性采样而不是最近邻上/下采样(在以前的基线渐进式GAN架构中实践)。

映射网络和风格网络:映射网络的目的是产生潜在输入向量在中间向量中,其独特的元素控制各种视觉特征。不是直接将潜在向量应用于输入层,而是进行映射。

消除传统(潜在)输入:StyleGAN的决定,照片生成特性由w和AdaIN检查。因此,他们用连续矩阵4x4x512替换了初始输入,以提高网络的执行效率。

增强噪声:在AdaIN方法之前,高斯噪声被附加到每个激活图上。根据该层的缩放因子,为每个区块评估单独的噪声样本。

合并正则化:风格生成在合成网络的不同级别使用中间向量,使网络能够确定不同级别之间的关系。

归一化卷积输入:使用潜在向量“风格”嵌入的自适应实例归一化(AdaIN)操作对单独的卷积层输入进行归一化。最后,添加的噪声被包含在网络中,以在图像中生成更多的随机细节。这种噪声只是一个单通道图像,由不相关的高斯噪声组成。在每个AdaIN操作之前,噪声被提供在特定的卷积层。此外,还有一个噪声的缩放部分,该部分是每个特征决定的。

结果

由于该过程的主要目标是生成模型的解耦和插值能力,一个常见的谜题是:图像质量和分辨率会发生什么变化?研究人员展示了生成器的根本重新设计或妥协产生了图像质量,但大大提高了它。因此,图像质量和插值能力之间不存在权衡。

作为进一步的参与,研究人员提供了两种新的计算机方法来量化插值质量和解耦,以及一个新的个人面孔的独立数据集。

测试在Celeba-HQ和新的数据集FFHQ上进行。结果表明,StyleGAN优于旧的生成对抗网络,并且在传统分布质量指标方面达到了最先进的执行。下面的报告显示了StyleGAN与传统GAN网络作为基线的联系。

FFHQ中不同生成器架构的感知路径测量和可分性记录(越低越好)。对于传统网络在Z中的估计,对于基于风格的网络在W中的估计。

新数据集FFHQ的样本。

StyleGAN的实际应用案例

StyleGAN擅长生成高质量图像并建立创建图像的风格。论文的发布了一个验证模型技能的视频,提供了一个有用的摘要。

StyleGAN结果视频,YouTube。

创建假面孔可能在专业联系中并不立即有用,但任何部分的手段都可以是。如果有人能够完美地表达这些元素,他们可以用欣赏来描述非常复杂的问题。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485