在当今快速发展的人工智能领域,图像标注是一项耗时且关键的任务。为了提高效率,推出了一款名为Auto Label的全托管自动化标注产品。这款产品能够帮助用户在手动标注过程中利用已有的模型辅助标注图像,甚至可以使用超过50,000个训练好的模型来标注数据。
还推出了Smart Polygon功能,该功能由Segment Anything基础模型提供支持,可以让以前所未有的速度使用多边形标注图像。2023年6月,推出了Autodistill,这是一个开源框架,用于使用基础模型自动标注图像。Autodistill集成了如Grounding DINO、CLIP和Segment Anything等基础模型,并以有效的方式结合它们,以用于标注各种用例的图像数据。
很高兴地宣布推出了一个界面,帮助校准自动化标注提示。借助Autodistill驱动的图像标注工具,可以测试多模态基础模型在数据集上的表现如何。通过准确自动标注数据,可以减少构建计算机视觉应用中最耗时的部分。不再需要管理一个标注团队,而是可以自动化这个过程,让能够更快地获得概念验证,以及后来的生产应用。
在本指南中,将介绍如何配置Autodistill以使用基础模型标注图像。让开始吧!使用Roboflow进行自动标注的图像,像Grounding DINO、Segment Anything这样的基础模型,以及结合现有模型的模型(例如Grounded SAM)可以有效识别图像中的对象。例如,可以使用Grounded SAM在图像中识别叉车并检索分割掩码。然后,可以使用这些掩码作为标签,用于训练模型。
像Grounding DINO和Grounded SAM这样的模型接受任意标签——例如,“货运集装箱”——并旨在识别图像中该对象的所有实例。尽管这些模型有效,但运行速度慢,使它们在边缘或实时使用中不切实际。在过去的九个月里,Roboflow在基础模型自动标注图像方面投入了大量资源。从开源框架Autodistill开始,它使能够自动标注视觉数据。Autodistill现在支持使用超过15个模型来标注数据。
在Roboflow中配置Autodistill提示
假设有一个叉车数据集,希望对其进行标注,以便用于训练工业安全模型。可以在Roboflow应用程序中自动标注图像。让逐步了解如何做到这一点。
首先,创建一个免费的Roboflow账户。然后,在Roboflow仪表板上点击“创建项目”,以创建一个计算机视觉项目。可以自动标注使用对象检测或分割模型类型创建的项目。
创建项目后,系统会要求上传图像。通过将图像拖入Roboflow网络应用程序,上传希望用于训练视觉模型的图像。
上传图像后,将看到数据集中所有图像的列表。点击侧边栏上的“标注”,然后点击上传的图像批次。在此页面上,点击“自动标注图像”按钮。此按钮将带进入一个页面,可以在该页面上评估用于标注数据的模型。
在此页面上,将被要求选择最多五张图像,以用于评估哪个模型在数据上表现最佳。可以通过从页面上选择图像来做到这一点,或者通过点击页面上的按钮,从数据集中随机选择图像。
// 示例代码,展示如何设置类别和相应的标签
let classesToIdentify = [
{ class: "shipping containers", label: "container" }
];
let confidenceThreshold = 0.8; // 设置置信度阈值
还可以选择过滤掉置信度低于某个阈值的预测。可以在运行模型后更改此置信度水平。配置好提示和类别后,点击“测试”。选择的五张图像将使用所有支持的模型进行标注。
结果将显示在浏览器中。可以从页面左侧选择图像,以查看每个模型在数据集中不同图像上的表现如何。在这个阶段,可以评估结果是否足够准确,以用于训练模型。可以使用页面上的置信度滑块调整模型的置信度,以查看每个模型在不同置信度下的表现如何。
Autodistill是一个开源框架,允许在设备上自动标注图像。如果使用的任何模型在标注选择的测试图像时表现良好,可以使用提示来标注所有图像。
现在,可以使用Autodistill中的提示和类别来运行自己的标注项目。托管解决方案Auto Label将允许在Roboflow托管的云中对整个数据集运行自动化标注作业。如果Roboflow自动化标注工具目前无法帮助用例,请查看Roboflow外包标注解决方案。有了专家外包标注人员,可以在不内部管理标注团队的情况下标注大型数据集。要了解更多关于外包标注的信息,请填写Roboflow外包标注入职表。