Meta公司最近发布了SAM 2，这是一个全新的图像和视频分割基础模型，其精确度是原始SAM模型的六倍。SAM 2能够对输入的图像或视频进行对象分割，并生成分割遮罩。这些遮罩随后可以被用于各种模型，例如图像到文本模型，以生成指定对象的遮罩。
随着SAM设定了如此高的标准，想要退一步问：SAM和SAM 2的主要用例是什么？如何利用SAM模型家族来帮助解决问题？这些问题将在本指南中得到解答。下面，将介绍SAM模型的五个用例。让开始吧！
可以使用已经为特定任务训练好的模型与SAM一起使用，以提供一个助手，推荐添加到图像中的标注。这允许创建多边形标注，而无需点击多边形周围的各个点。有了SAM，可以点击感兴趣的对象，然后根据需要进行标注细化。
零样本标注指的是对以前未见过的图像进行标注。例如，可以给SAM一个道路汽车模型，SAM将能够为所有汽车以及图像中的其他所有内容推荐分割遮罩。尽管如此，遮罩不会带有告诉汽车是汽车的注释。这是因为SAM分割图像，它不会像零样本目标检测器那样检测图像。
SAM能够以极高的精度识别图像中的背景。使用SAM时，可以交互式地选择背景的遮罩。然后，可以利用这些信息从图像中移除现有背景，并用透明背景替换它。然后，可以将新图像放置在新的背景上。
SAM识别对象边界的精确度使其成为图像生成中修复的理想伙伴。使用像SAM这样的模型，可以找到想要更改的图像的确切特征，然后将遮罩通过支持修复的模型，如Stable Diffusion。
如前所述，可以将SAM与像Grounding DINO这样的零样本目标检测模型结合使用。当拥有代表感兴趣对象的遮罩时，可以将它们粘贴到具有新背景的图像上，这些背景与模型将被部署的环境相关。这将帮助模型更好地识别数据集中的特征。
此外，可以使用修复功能进行合成生成。在修复示例中，提到可以改变停车场图像中所有蓝色汽车的颜色，以帮助使模型更能代表其将运行的环境。让使用另一个示例。假设正在识别金属管上的缺陷。可以使用SAM来识别图像中的金属管，然后要求支持修复的模型添加想要检测的划痕、凹痕或其他缺陷。
在撰写本文时，SAM已经发布了大约一周。只是在探索这个模型的可能性的开始。还有更多的应用需要探索，包括生成性人工智能、零样本标注、图像描述等。