随着全球范围内的危机爆发,社交距离成为了公共卫生的重要组成部分。虽然社交距离措施至关重要,但同时在所有地方强制执行也是不可能的。在本系列文章中,将探讨如何利用AI和深度学习在视频帧中确保人们保持适当的社交距离。通过本系列文章的学习,将了解如何使用AI来判断人们是否遵循社交距离协议。
社交距离检测器通常应用于图像或视频序列。本系列文章的第一部分将解释如何使用Python3和OpenCV从摄像头捕获图像,读取和写入插图以及视频序列。接下来,将学习如何使用OpenCV对检测到的对象进行注释。
OpenCV是一个流行的开源、跨平台的实时计算机视觉应用程序库。它为图像处理、对象检测、机器学习、深度学习、计算摄影等提供了便捷的API。要开始在Python3应用程序中使用OpenCV,只需安装opencv-python
包:
pip3 install opencv-python
然后按照以下方式导入cv2
模块:
import cv2 as opencv
有了这些,就可以开始使用OpenCV了。在后续部分,将使用OpenCV API来读取、显示和写入图像。然后,将学习如何处理视频流,并从网络摄像头捕获视频。
首先从Lena.png文件中读取图像。下载了这个文件,这里是完整的Python脚本,用于加载和显示图像:
import cv2 as opencv
# Load image
file_path = 'Lena.png'
lena_img = opencv.imread(file_path)
# Display image
opencv.imshow('Lena', lena_img)
opencv.waitKey(0)
首先,使用imread
函数从文件中读取图像。将此操作的结果存储在lena_img
变量中。然后,使用imshow
方法显示此图像。此方法接受两个参数:要显示图像的窗口标题,以及要显示的图像。注意waitKey
函数的最后一个调用。它将阻止脚本执行,直到用户按下任意键。waitKey
函数的参数是超时时间。传递了0,这意味着无限超时。
现在知道了如何读取和显示图像,让看看如何将图像写入磁盘。为此,将扩展脚本,添加以下语句:
kernel_size = (11, 11)
sigma_X = 0
lena_img_processed = opencv.GaussianBlur(lena_img, kernel_size, sigma_X)
# Save image
output_file_path = 'Lena-processed.jpg'
opencv.imwrite(output_file_path, lena_img_processed)
上述脚本首先使用预定义的11x11像素核大小,基于OpenCV的GaussianBlur
方法模糊图像。模糊后的图像存储在lena_img_processed
变量中,然后使用imwrite
方法保存到Lena-processed.png
文件中。如上所示,imwrite
接受两个参数。第一个是文件路径,第二个是要写入的图像。可选地,imwrite
接受一个压缩参数数组。可以像下面这样传递它们:
opencv.imwrite(output_file_path, lena_img_processed, [int(opencv.IMWRITE_JPEG_QUALITY), 100])
修改后的脚本的结果是Lena-processed.jpg
,看起来像这样:
要捕获网络摄像头的帧,使用OpenCV的VideoCapture
对象。它的构造函数接受一个整数,表示摄像头的索引,或视频文件的路径。从摄像头索引开始,并传递0:
import cv2 as opencv
# Create video capture
video_capture = opencv.VideoCapture(0)
然后,要捕获网络摄像头的帧,使用VideoCapture
类实例的read
函数。此方法返回捕获状态(一个布尔值)和获取的帧。因此,下一步是检查状态并使用imshow
函数显示帧:
quit_key = ord('q')
# Display images in a loop until user presses 'q' key
while True:
(status, camera_frame) = video_capture.read()
if status:
opencv.imshow('Camera preview', camera_frame)
key = opencv.waitKey(10)
if key == quit_key:
break
上述过程一直持续到用户按下键盘上的'Q'键。运行此脚本时,将看到从默认网络摄像头捕获的视频序列。
还可以将捕获的帧写入文件。为此,使用VideoWriter
。创建此类对象时,需要提供视频文件的路径、视频编解码器、帧速率和帧大小。OpenCV使用fourCC编解码器,可以使用VideoWriter_fourcc
对象创建。可以通过如下方式传递一组字母,代表编解码器。例如,要使用MJPG编解码器,请按如下方式传递每个字母作为参数:
codec = opencv.VideoWriter_fourcc('M', 'J', 'P', 'G')
这里有一个完整的示例,展示了如何将网络摄像头的视频序列写入视频文件(参见配套代码中的video_capture.py
):
import cv2 as opencv
quit_key = ord('q')
# Create video capture
video_capture = opencv.VideoCapture(0)
# Video writer
video_file_name = 'camera_capture.avi'
codec = opencv.VideoWriter_fourcc('M', 'J', 'P', 'G')
frame_rate = 25
video_writer = None
# Display images in a loop until user presses 'q' key
while True:
(status, camera_frame) = video_capture.read()
if status:
opencv.imshow('Camera preview', camera_frame)
if video_writer is None:
frame_size = camera_frame.shape[-2::-1]
video_writer = opencv.VideoWriter(video_file_name, codec, frame_rate, frame_size)
video_writer.write(camera_frame)
key = opencv.waitKey(10)
if key == quit_key:
break
video_writer.release()
上述脚本扩展了从网络摄像头捕获帧的脚本,使用VideoWriter
。请注意,在成功捕获第一帧后初始化VideoWriter
一次。这样做是为了能够访问摄像头帧大小。从camera_frame
的shape
属性中解包帧大小。然后,调用write
方法将新帧添加到视频文件中。完成写入后,调用release
方法关闭VideoWriter
。
在这一步中,将向展示如何使用OpenCV读取视频序列。再次使用VideoCapture
对象,但这次需要传递视频文件名:
video_capture = opencv.VideoCapture(video_file_name)
然后,以与捕获网络摄像头视频相同的方式读取连续帧:
video_capture.read()
import cv2 as opencv
video_file_name = 'camera_capture.avi'
frame_rate = 25
video_capture = opencv.VideoCapture(video_file_name)
while True:
(status, camera_frame) = video_capture.read()
if status:
opencv.imshow('Video file', camera_frame)
opencv.waitKey(int(1000/frame_rate))
else:
break