图像超分辨率技术是计算机视觉和图像处理领域的一项重要技术,它涉及到从低分辨率图像中恢复出高分辨率图像。这项技术在医学成像、卫星成像、监控安全、天文成像等多个实际应用领域中发挥着重要作用。随着深度学习技术近年来的快速发展,基于深度学习的超分辨率模型得到了积极的探索,并在各种超分辨率基准测试中取得了最先进的性能。从早期基于卷积神经网络(CNN)的方法到最近基于生成对抗网络(GAN)的有前景的超分辨率方法,各种深度学习方法被应用于解决超分辨率任务。
单图像超分辨率问题
单图像超分辨率(SISR)问题在研究社区中引起了广泛关注。SISR的目标是从单个低分辨率图像重建高分辨率图像。通常,低分辨率图像与原始高分辨率图像之间的关系可能会因情况而异。许多研究假设低分辨率图像是高分辨率图像的双三次下采样版本,但也可以考虑到其他降级因素,如模糊、降采样或噪声,以适用于实际应用。本文将重点关注用于超分辨率任务的监督学习方法。通过使用高分辨率图像作为目标和低分辨率图像作为输入,可以将这个问题视为一个监督学习问题。
上采样方法
基于学习的上采样
为了克服基于插值的方法的不足,并以端到端的方式学习上采样,引入了转置卷积层和亚像素层到超分辨率领域。转置卷积层,也称为反卷积层,尝试执行与正常卷积相反的变换,即基于像卷积输出一样大小的特征图预测可能的输入。具体来说,它通过插入零并执行卷积来增加图像分辨率。亚像素层是另一个端到端可学习的上采样层,通过生成多个通道并重新整形它们来执行上采样。在这个层中,首先应用卷积以产生具有s^2倍通道的输出,其中s是缩放因子。假设输入大小为h×w×c,输出大小将是h×w×s^2c。之后,执行整形操作以产生大小为sh×sw×c的输出。