深度学习中的图像上色技术

在本文中,将探讨如何利用深度学习技术,特别是卷积神经网络(CNN),来为老旧、褪色的黑白图像添加颜色。目标是构建一个机器学习模型,能够将灰度图像转换为具有实际色彩的图像,例如,输入一张灰度的猎犬图像,输出时不应得到一只粉红色皮肤的狗。将使用Lab色彩空间而非传统的RGB色彩空间,因为输入图像为灰度,只需使用L空间,并预测a和b通道的结果,最终将ab图像组合以得到所需的输出,并将其转换为RGB色彩空间。

项目开始

理解了项目的基本原理后,可以开始着手实现。首先,需要加载数据集。可以将数据集加载到选择的编辑器目录中,或者将其存储在任何位置并复制该目录的路径。这里跳过数据集加载部分,因为它相对基础。记住,数据集越大,模型训练得越好,但训练时间也会更长。

为灰度图像添加颜色

现在,将着手为灰度图像添加颜色。将在bw2color_image.py文件中添加代码基础。首先,需要导入必要的依赖库:

import numpy as np import argparse import cv2

接下来,添加命令行参数,以便在未来测试模型时可以轻松地为不同的自定义输入进行测试。

ap = argparse.ArgumentParser() ap.add_argument("-i", "--image", type=str, required=True, help="path to input black and white image") ap.add_argument("-p", "--prototxt", type=str, required=True, help="path to Caffe prototxt file") ap.add_argument("-m", "--model", type=str, required=True, help="path to Caffe pre-trained model") ap.add_argument("-c", "--points", type=str, required=True, help="path to cluster center points") args = vars(ap.parse_args())

然后,加载模型和聚类中心:

print("Loading the model...") net = cv2.dnn.readNetFromCaffe(args["prototxt"], args["model"]) pts = np.load(args["points"]) class8 = net.getLayerId("class8_ab") conv8 = net.getLayerId("conv8_313_rh") pts = pts.transpose().reshape(2, 313, 1, 1) net.getLayer(class8).blobs = [pts.astype("float32")] net.getLayer(conv8).blobs = [np.full([1, 313], 2.606, dtype="float32")]

接着进行图像的加载和转换(预处理):

image = cv2.imread(args["image"]) scaled = image.astype("float32") / 255.0 lab = cv2.cvtColor(scaled, cv2.COLOR_BGR2LAB) resized = cv2.resize(lab, (224, 224)) L = cv2.split(resized)[0] L -= 50

对L通道进行均值减法处理,然后将‘L’作为输入预测‘ab’通道。

print("Colorizing image...") net.setInput(cv2.dnn.blobFromImage(L)) ab = net.forward()[0, :, :, :].transpose((1, 2, 0)) ab = cv2.resize(ab, (image.shape[1], image.shape[0]))

进行一些轻微的后处理:

L = cv2.split(lab)[0] colorized = np.concatenate((L[:, :, np.newaxis], ab), axis=2) colorized = cv2.cvtColor(colorized, cv2.COLOR_LAB2BGR) colorized = np.clip(colorized, 0, 1) colorized = (255 * colorized).astype("uint8") cv2.imshow("Original", image) cv2.imshow("Colorized", colorized) cv2.waitKey(0)

通过上述步骤,裁剪了任何超出0到1范围的像素值,并将强度范围恢复到0到255。

检查模型结果

现在,在终端中,可以尝试运行刚刚编写的脚本——bw2color-image.py。可以使用以下命令:

python bw2color_image.py --prototxt model/colorization_deploy_v2.prototxt --model model/colorization_release_v2.caffemodel --points model/pts_in_hull.npy --image images/robin_williams.jpg

输出结果将显示出来。同样,可以通过调整和自定义CLI中的路径来对各种灰度图像进行相同的操作。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485