在计算机视觉领域,传统的图像处理主要依赖于可见光下的红、绿、蓝(RGB)色彩谱。然而,随着技术的发展,人们开始探索超越可见光色彩的图像处理技术。热成像技术便是其中之一,它通过捕捉物体表面的温度辐射,将这些辐射转换成人类可见的光谱,从而实现对物体表面温度的非接触式观测。
热成像技术的应用范围非常广泛,它不仅为现有的RGB图像处理问题增加了新的维度,还能在普通可见光条件下难以获取的信息。例如,在完全黑暗的房间里,热成像技术仍然能够根据物体的温度差异来识别附近的物体。
热成像技术在多个领域都显示出了其重要性,如在搜救行动中(例如,在废墟下寻找散发热量的个体),海上导航(例如,在夜晚,船只通过热辐射来相互识别),夜间道路安全(例如,识别道路上的障碍物),以及气体泄漏检测(例如,泄漏区域的温度与周围环境不同)等。
鉴于此,相信热成像数据在计算机视觉领域还有许多尚未开发的用例。为了展示热成像和计算机视觉的强大能力,捕获了203张人和狗的热成像图片,并为这些图片进行了目标检测的标注。这个热成像数据集可以在上找到。
在此,要感谢狗Bear,它在这个计算机视觉的热成像数据集中担任了主角。这些图片是使用Seek Compact XR Extra Range热成像相机为iPhone拍摄的(当然也可以使用FLIR ONE for iPhone或Android)。值得注意的是,有19张图片故意没有包含人或狗(更详细的信息可以通过获得)。
Roboflow的“热成像人和狗”数据集包含了203张在公园和家附近不同距离下拍摄的人和狗的红外热成像图片。一些图片故意没有标注,因为它们不包含人或狗(详见数据集健康检查)。
使用这203张图片(其中140张,即70%,用于训练集)构建了一个EfficientDet模型,并在验证集(41张图片)上获得了0.11735的总损失。在保留的测试集(22张图片)上,模型的表现相当不错。
当狗离相机较远时,模型在定位上遇到了一些困难,但它确实能够识别出物体的存在。例如,尽管模型对识别狗和人的置信度仅为0.60,但它仍然能够识别出图片中的狗和人。另一个例子是,尽管模型对其猜测的置信度仅为0.34%,但它确实找到了狗。
虽然这只是一个简单的示例,用于识别狗和人,但它开始展示出使用Roboflow和热成像数据的可能性。即使是这个数据集,也可以帮助在夜间或搜救行动中识别拉布拉多寻回犬。