构建浏览器中的多步骤计算机视觉工作流

在本文中,将介绍如何在浏览器编辑器中构建一个多步骤的计算机视觉工作流,并使用Roboflow API进行部署。这种工作流可以用于自动标注数据,以便在训练新版本的AI模型时使用。这是主动学习的一个子集,其中模型的预测被保存到数据集中,用于训练未来的模型版本。

首先,需要创建一个Roboflow数据集,以便上传标注的图像。创建一个免费的Roboflow账户,然后在Roboflow仪表板中点击“创建项目”来创建一个项目。选择对象检测数据集类型。如果已经有标注的图像,可以将其上传到数据集中;或者,可以上传需要标注的图像。在这个阶段添加图像是可选的,因为主动学习工作流将在本指南后面的步骤中自动添加图像。

创建新数据集后,就可以开始构建主动学习工作流了。在Roboflow仪表板中,点击侧边栏中的“工作流”,将被带到工作流主页,在那里可以创建一个新的工作流。点击“创建工作流”按钮,一个窗口将出现,可以从中选择一个示例工作流。对于这个项目,选择“自定义工作流”选项。

接下来,将添加一个基础模型到自动化标注工作流中。对于本指南,将使用YOLO World,这是一个零样本对象检测模型。像YOLO World这样的基础模型擅长识别通用对象(例如汽车、螺丝、金属),但在识别特定对象(例如产品SKU)方面效果较差。

在工作流中,将使用YOLO World来检测螺丝,并使用边界框可视化组件来显示模型的结果。现在,工作流有两个步骤:使用YOLO World检测螺丝,并使用边界框可视化显示模型的结果。如果使用YOLO World设置了多个类别,建议添加一个标签可视化,以便可以看到带有边界框的标签。

要预览工作流,点击工作流构建器顶部的“运行工作流”。然后,拖动想要通过工作流运行的图像。点击“运行预览”来运行工作流。将看到两种响应类型:一个是结果的JSON表示,另一个是显示模型预测在输入图像上的可视化。要查看可视化输出,请点击“显示可视化”。

现在,工作流运行推理并返回结果。为了构建一个自动标注管道,需要添加一个额外的步骤:将预测结果上传回Roboflow数据集。为此,可以使用Roboflow数据集上传块。添加块后,需要设置要添加图像的数据集。这是在步骤1中创建的数据集。

设置“目标项目”为想要上传图像的项目:确保设置了Image值为input.image。然后,在Roboflow数据集上传设置菜单中点击“附加属性”按钮,并配置块以从model.predictions预测中读取。此配置将把输入图像以及模型返回的所有预测添加到数据集中。

现在已经完成了工作流:接受一个图像,使用YOLO World自动标注图像,可视化模型的预测,将预测结果上传回Roboflow,并返回预测和可视化结果。在新标签页中,导航到之前创建的数据集的标注标签页。然后,在打开的工作流标签页中,对图像运行工作流。图像将被标注并上传到工作空间。

有了自动标注工作流,可以自动标注数据,以便在训练新的AI模型时使用。在本指南中,构建了一个用于对象检测标注的管道,但可以使用OpenAI块或任何LMM块来添加标题或Segment Anything 2进行分割。通过组合多个块,可以为许多任务或多模态模型训练标注图像。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485