在深度学习领域，计算机视觉技术不断进步，模型和算法的输出精度也在不断提高。这些模型的应用场景众多，其中零样本分类和图像配对是这些模型最受欢迎的应用之一。Google的SigLIP图像分类模型是一个典型的例子，它以其卓越的性能基准脱颖而出。SigLIP是一个基于CLIP框架的图像嵌入模型，但采用了更优的损失函数。
SigLIP模型仅使用图像-文本配对，匹配它们并提供向量表示和概率。SigLIP允许在较小的匹配中进行图像分类，同时支持进一步的扩展。SigLIP与CLIP的不同之处在于其采用的sigmoid损失函数，这意味着模型被训练为单独处理图像-文本配对，而不是整体判断哪个匹配最多。
理解SigLIP的框架和模型概览。了解SigLIP的最新性能。学习sigmoid损失函数。深入了解该模型的一些实际应用。
该模型使用类似于CLIP（对比学习图像预训练）的框架，但有所不同。SigLIP是一个多模态模型计算机视觉系统，这为其提供了更好的性能。它使用视觉变换编码器处理图像，即将图像分割成小块，然后线性嵌入到向量中。另一方面，SigLIP使用变换编码器处理文本，将输入的文本序列转换为密集的嵌入。
因此，模型可以接受图像作为输入，然后执行零样本图像分类。它也可以使用文本作为输入，这对于搜索查询和图像检索很有帮助。输出将是图像-文本相似度得分，以通过描述来确定某些图像，如某些任务所要求的。另一种可能的输出是输入图像和文本的概率，也称为零样本分类。
模型架构的另一部分是其语言学习能力。如前所述，对比学习图像预训练框架是模型的骨干。但它也有助于对齐图像和文本表示。推理简化了流程，用户可以在主要任务上实现出色的性能，即零样本分类和图像-文本相似度得分。
该模型架构的变化带来了一些新的可能性。这种sigmoid损失打开了与批量大小进一步扩展的可能性。然而，与类似的CLIP模型的标准相比，性能和效率还有更多的工作要做。最新的研究旨在优化这个模型，正在检查SoViT-400m。看看它的性能如何与其他类似CLIP的模型相比将是有趣的。
以下是如何通过几个步骤使用代码运行推理。第一部分涉及导入必要的库。可以通过链接输入图像或从设备上传文件。然后，调用输出使用‘logits’，可以执行检查文本-图像相似度得分和概率的任务。以下是这些开始的方式；
from transformers import pipeline
from PIL import Image
import requests
这段代码导入了加载和处理图像以及使用HF获得的预训练模型执行任务所需的库。PIL函数用于加载和操作图像，而transformer库中的pipeline简化了推理过程。
# 加载管道
image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-so400m-patch14-384")
这一步使用transformer库初始化零样本图像分类任务，并开始通过加载预训练数据的过程。
# 加载图像
image_path = '/pexels-karolina-grabowska-4498135.jpg'
image = Image.open(image_path)
这段代码使用PIL函数从本地文件加载上传的图像。可以存储图像并获得‘image_path’以在代码中识别它。然后‘image.open’函数有助于读取它。
# 推理
outputs = image_classifier(image, candidate_labels=["a box", "a plane", "a remote"])
outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
print(outputs)
模型选择得分最高的标签作为图像的最佳匹配，“a box”。
sigmoid是该模型架构的区别所在。原始的CLIP模型使用softmax函数，这使得为每个图像定义一个类别变得困难。sigmoid损失函数消除了这个问题，因为Google研究人员找到了解决这个问题的方法。
以下是典型的示例；
使用CLIP时，即使图像类别不在标签中，模型仍然尝试给出一个预测，这将是不准确的。然而，SigLIP通过更好的损失函数消除了这个问题。如果尝试相同的任务，前提是可能的图像描述不在标签中，将获得所有输出，从而获得更好的准确性。可以在下面的图像中查看；
输入一个盒子的图像，将为每个标签获得0.0001的输出。
该模型有一些主要的用途，但以下是用户可以采用的一些最受欢迎的潜在应用；
可以创建一个搜索引擎，使用户能够根据文本描述找到图像。
图像字幕是SigLIP的另一个有价值用途，用户可以为图像添加字幕并分析它们。
视觉问题回答也是这个模型的绝佳用途。可以微调模型以回答有关图像及其内容的问题。
Google SigLIP在图像分类方面提供了重大改进，采用sigmoid函数。该模型通过专注于个别图像-文本配对匹配，提高了零样本分类任务的性能。
SigLIP的扩展能力和提供更高精度的能力使其成为图像搜索、字幕和视觉问题回答等应用的强大工具。它的创新使其成为多模态模型领域的佼佼者。
Google的SigLIP模型通过使用sigmoid损失函数，提高了零样本图像分类的准确性和性能，超越了其他类似CLIP的模型。
SigLIP在涉及图像-文本配对匹配的任务中表现出色，实现了更精确的图像分类，并提供了图像字幕和视觉问题回答等能力。
该模型支持大批量尺寸的可扩展性，并在各种用例中具有多功能性，如基于文本描述的图像检索、分类和搜索引擎。
AIModels.fyi:
Hugging Face:
roboflow:
Q1. SigLIP和CLIP模型的主要区别是什么？
A. SigLIP使用sigmoid损失函数，允许个别图像-文本配对匹配，比CLIP的softmax方法具有更好的分类准确性。
Q2. Google的SigLIP模型的主要应用是什么？
A. SigLIP的应用包括图像分类、图像字幕、通过文本描述的图像检索和视觉问题回答等任务。