在现代人工智能领域，VQGAN（Vector Quantized Generative Adversarial Network）技术以其独特的图像合成能力而备受关注。VQGAN技术结合了卷积神经网络（CNN）的局部特征提取能力和变换器（Transformer）的长距离依赖建模能力，使得高分辨率图像的合成成为可能。本文将深入探讨VQGAN技术的原理、优势以及如何结合CLIP关键词修饰器提高图像合成质量。
VQGAN技术原理
VQGAN技术的核心在于将图像表示为一系列离散的潜在变量，这些变量通过一个共享的码本（codebook）进行编码和解码。与传统的像素级表示不同，VQGAN通过码本将图像分解为一系列视觉丰富的图像成分，这些成分的组合由自回归变换器架构进行建模。码本在卷积和变换器架构之间提供了接口，而判别器则确保在保持高感知质量的同时实现强压缩。
为了使用变换器合成更高分辨率的图像，图像的语义必须巧妙地呈现。直接使用像素表示是不可行的，因为像素数量会随着图像分辨率的增加而呈二次方增长。因此，VQGAN提出了一种新的架构，将图像表示为码本中感知丰富的图像成分的组合。
VQ-VAE原理
VQ-VAE由编码器和解码器组成，编码器将观测值/图像映射到一系列离散的潜在变量，而解码器则从这些离散变量重建观测值。它们使用共享的码本。在VQ-VAE的工作流程中，可以看到一个狗的图像被输入到编码器中。编码器创建了一个“潜在空间”，这实际上是一个压缩的图像数据空间，其中相似的数据点更接近。然后，根据其与码向量的距离进行量化，使得每个向量被替换为码本中最接近的码向量的索引。解码器也使用相同的方法进行重建。