在Roboflow用户界面内,通过使用云托管的Segment Anything模型SAM 2,可以比以前更快、更容易、更准确地应用多边形标注。无需设置、无需服务器、无需集成,一键即可创建标注。从今天开始,所有用户都可以免费访问由SAM驱动的智能多边形功能。登录即可尝试使用。
可以以多种方式将数据添加到Roboflow账户。常见的方法包括在Roboflow用户界面中拖放、通过API或CLI、YouTube视频上传,以及利用Roboflow Universe中的200k+开源数据集克隆图片(带或不带标签)到账户。
一旦进入标注界面,点击右侧工具栏中的光标图标以启用智能多边形,并选择增强预览的免费试用。现在,智能多边形在浏览器中运行SAM。会注意到,当悬停在对象上时,可以看到将由初始点击生成的掩码预览。这些预览有助于节省时间,因为可以在应用它们之前看到掩码,并导航图像以找到创建最佳初始掩码的位置。
当创建初始掩码时,将能够选择多边形的复杂性(在它们之间切换以查看差异!),然后按Enter键接受初始掩码。
可以交互式编辑初始掩码,通过在掩码外部点击以扩展掩码,或在掩码内部点击,如果它包含了比想要的对象更多的部分。
对于较大的对象或一次点击未能正确创建掩码的对象,可以点击并拖动以在完整对象周围绘制一个框。使用的方法取决于数据,因此请尝试最适合方法。
使用智能多边形,可以将边界框标注转换为多边形标注。右键单击任何边界框,然后选择“转换为智能多边形”。
通过让SAM将所有边界框转换为多边形,加快将边界框转换为多边形的速度。这是可以使用的一个选项,当知道SAM与自定义数据表现良好时。
还可以使用相同的右键单击方法将多边形转换为贴合的边界框。
建议使用来自生产环境的实际数据,以了解SAM在特定用例中的对象上的表现。高质量的照片可能包含感兴趣的对象,但图像大小或质量可能会影响模型在实践中创建标注的效果。
正如探索使用SAM进行标注一样,有一些区域需要注意。精细的边缘、角落和小空间可能需要更多的努力来捕捉。这些边缘情况受到图像大小和图像质量的影响。
在下面的示例中,左上角的图像是完整的原始图像。在右上角的图像中,当分割地毯时,许多地毯像素未被SAM捕获。在左下角,可以看到SAM在分割手指之间的区域时遇到困难。如果采用相同的图像,裁剪有问题的区域并上传,SAM处理较小空间的能力要好得多。在标注和上传数据时,请考虑这一点。
为了提高速度,当选择要分割的区域时,可以创建多个单独的对象掩码。
SAM是计算机视觉的突破性基础模型,在各个领域都有广泛的应用。阅读更多关于SAM架构的信息,或查看教程,了解如何使用SAM探索可以在下一个计算机视觉项目中利用这个新模型的其他方式。