无人机在多个领域的应用及其自主飞行的挑战
无人机技术正在不断进步,它们在灾难响应、绿色农业、安全建筑等领域的应用日益广泛。随着技术的发展,无人机甚至能够完全或半自动地执行这些任务,从而实现更高的精度和效率。
对于罗切斯特大学的数据科学家Victor Antony来说,当他面临创建使无人机能够自主飞行的软件的挑战时,他知道这是一个令人兴奋的任务。他的目标是构建一个能够成功识别无人机需要穿过的门的对象检测模型。在这个受控环境中,一个团队成员负责创建一个成功的计算机视觉模型用于无人机导航,而其他团队成员则专注于使用该位置来改变无人机的位置。
Victor从仓库环境中捕获的300张门的图像开始。他识别出在数据收集和训练流程中存在的关键差距。所有捕获的图像都来自相同的方向,而无人机自动驾驶可能会遇到任何旋转的门——更不用说不同的照明条件、与门的不同距离(改变视角)和模糊。
此外,原始图像尚未以任何标记框架可以轻松使用的形式存在。PyTorch主要需要COCO JSON,YOLO Darknet需要Darknet .txt文件,TensorFlow需要TFRecord文件。鉴于这些框架的多种开源实现,为每个框架设置训练流程以测试基线模型性能将分散对核心领域问题的注意力:教会无人机识别门。
“不确定将使用哪个框架,所以能够在Roboflow中尝试多个框架。”Victor使用Roboflow解决了这两个问题。首先,他利用图像增强将他的300张图像转换为包含900个多样化示例的数据集,包括各种旋转、照明条件和模糊。此外,Roboflow预处理确保所有图像一致地调整大小。
其次,使用Roboflow的一键标注格式,Victor能够无缝地尝试PyTorch和TensorFlow模型。他的时间集中在识别其领域模型的性能和实时输出的权衡上,而不是编写转换脚本。
Victor发现TensorFlow的MobileNetSSD在Roboflow模型库中表现最佳。事实上,该模型的性能如此出色,以至于在Victor的保留测试集中找到了100%的门。“对无缝的性能感到惊讶——不确定它是否正确,因为性能太好了。”
Victor Antony的结果并不是一次性的,他的过程是可重复的。如果正在努力设置计算机视觉处理流程。