在当今的人工智能领域,获取训练数据并快速测试模型性能是至关重要的。Roboflow通过支持YouTube视频链接上传数据和在浏览器中测试模型性能,使得这一过程对所有用户都变得更加容易。无论是在构建概念验证用例,还是在没有专有数据的情况下启动新模型,或者通过扩展数据集来提高模型性能,都可以利用YouTube的800+百万视频资源,更快地实现价值。
视频为提供了一种简单的方法,可以从中获取成千上万的独特图像作为训练数据,因为可以将视频帧分割成不同的图像。将视频用作训练数据对于图像和视频推理计算机视觉应用都是有益的。因此,即使不是在为视频推理构建计算机视觉模型,也可以从将视频转换为图像以进行训练的便利中受益。
在这个示例中,将使用来自RoboflowUniverse的开源项目——灰狗赛跑数据,这些数据来自这个YouTube视频。要使用YouTube视频作为训练数据,请转到上传页面,将YouTube视频URL复制并粘贴到导入字段中,并选择希望从视频中采样图像的速率。将看到在将数据添加到数据集之前,将生成并标记的图像数量。
从这一点开始,可以使用Roboflow Annotate来标记数据,生成数据集,然后使用RoboflowTrain来创建模型。对于这个项目,选择使用Smart Polygon工具来应用精确的标签,以帮助提高模型的准确性。
数据集仅包含58张注释图像,使用增强功能将数据集扩展到418张图像,用于训练模型。通过使用少量标注良好的数据,可以创建一个高性能的模型。在特定任务中,并不总是需要成千上万的图像才能实现价值。
一旦训练了模型,就可以使用Roboflow的部署页面来测试模型的性能,看看模型在视频本身上的表现如何。通过遵循标记最佳实践,应该期望模型在用于创建训练数据的视频中表现良好。
平均精度(mAP)得分和精确度与召回率是衡量模型将如何表现的有用指标,但看到实时推断填充在调整置信度或重叠阈值时,将给一个关于模型在哪里出现问题,或者是否足够好以至于可以部署到生产中的大致了解。
使用YouTube视频来训练模型是证明用例或帮助其他利益相关者了解可以用计算机视觉模型做什么的好方法。训练的模型现在可以在其他视频上进行测试,看看新环境是否会产生希望在模型的下一个版本中考虑的边缘情况。例如,使用不同的剪辑(如下所示)表明模型在新的灰狗、新的号码、新的颜色和新的摄像机角度上表现良好。
但是,看起来正面视图和左上角的标志给模型带来了麻烦。应该上传这些数据,并用它来生成一个新的数据集来训练一个新的模型。在这一点上,可以继续添加更多的YouTube视频来收集更多的数据,并提高模型性能,以更好地处理新环境,直到它准备好部署到生产中。
在拥有多个固定位置摄像机的场景中,可以非常快速地以这种方式构建高性能模型。这个过程被称为主动学习,这是提高模型性能随时间推移的重要方法。