在北卡罗来纳州立大学,工程学院每年夏季都会举办为期一周的日间夏令营,让高中生有机会亲身体验工程学的魅力。今年,特别关注了人工智能和机器学习领域,特别是计算机视觉的应用。在Active Robotics Sensing实验室(ARoS)的博士生们,在Dr. Edgar Lobaton的指导下,与The Engineering Place合作,为高中生设计了一系列活动,让他们能够通过Roboflow平台,从数据收集到模型预测,全面了解计算机视觉的整个流程。
在夏令营的第一天,高中生们在脚踝上佩戴了一个由MBIENTLAB制造的小型蓝牙传感器,该传感器能够通过加速度计测量x、y和z方向的加速度。学生们在跑步机上按照特定的站立、行走、跑步协议进行活动,每个阶段都有预设的速度:
1分钟站立
2分钟行走
2分钟跑步
2分钟行走
1分钟站立
传感器能够通过蓝牙实时将数据传输到手机上。因此,在将数据从手机传输到电脑后,将加速度信号转换为频谱图——信号的图像表示。在案例中,使用Python中的matplotlib库的specgram包,将x、y和z加速度值分别映射到图像中的红色、绿色和蓝色(RGB)值。
为了创建频谱图图像数据集,使用10秒的时间窗口,并且有50%的重叠,为每个时间窗口创建一个单类图像(即站立、行走或跑步)。这样,就可以直接使用现成的图像分类模型对频谱图进行分类,以区分不同的活动。
在第二天的活动开始时,向学生们简要介绍了Roboflow和计算机视觉。展示了一些在Roboflow上的项目,因为实验室自2021年秋季以来一直在与他们合作进行各种研究项目(例如,棉花的计算机视觉、微观化石等)。
在介绍了Roboflow之后,给了学生们一些时间来探索Roboflow Universe:“计算机视觉数据集和预训练模型的最大资源库”。在学会了如何使用Roboflow Universe之后,他们有机会探索他们感兴趣的主题,并在Roboflow上进行一些实际操作,然后再训练自定义活动识别模型。
学生们特别喜欢足球运动员目标检测和CSGO瞄准器项目。这非常符合高中生的品牌形象。在探索了Roboflow Universe之后,他们开始他们的活动识别任务,首先在他们的Roboflow账户中创建图像分类项目,并上传频谱图作为他们的训练、验证和测试集。数据集包括311张站立图像、528张行走图像和259张跑步图像。
然后,学生们决定他们想要如何训练他们的模型:训练-验证-测试分割、数据增强等。他们稍后将使用自己的频谱图作为他们训练模型的保留数据集。
最后,每个小组都能够成功地训练自己的模型,并在验证和测试集上表现出色。可以通过将未见过的图像上传到他们的Roboflow项目门户,并几乎立即获得预测,来验证他们模型的性能。