在计算机视觉领域，模型的性能评估至关重要。本文将介绍如何评估特定用例的自定义模型与Amazon Rekognition通用模型的性能。将通过一系列步骤，展示如何使用Roboflow Universe和COCO数据集来评估模型。
为了评估模型在各种场景下检测车辆的能力，首先需要一个合适的数据集。可以通过Roboflow Universe搜索训练有素的对象检测模型。在这个例子中，将使用一个大型、通用、多样化的数据集，如COCO，特别是其中的车辆子集。
如果有自己的用例想要与Amazon Rekognition进行比较，可以创建自己的数据集并训练模型，然后比较这个定制训练的模型与Amazon Rekognition的性能。例如，可以从希望部署模型的地方捕获大约一百张图像或视频，然后将图像上传到Roboflow。可以快速标注它们，甚至可以让Autodistill为标注图像。一旦图像被标注，可以添加和修改预处理和增强，然后生成一个版本。创建版本后，可以一键训练模型。然后，按照本指南的步骤进行，但将模型替换为自己的来下载项目。
现在有了评估两个模型的数据集，可以开始评估过程。可以使用监督的mAP基准测试功能来测试模型并为两个模型生成mAP（平均精度均值）。
首先，将安装`roboflow`和`supervision`包，以及`boto3`和`aws-shell`，这些是AWS工具，需要在Python中使用Rekognition。
!pip install boto3 aws-shell roboflow supervision -q
要访问Amazon的Rekognition模型，如果还没有AWS账户，请注册一个。然后，创建一个IAM访问密钥以使用API。在笔记本中，使用CLI命令`aws configure`开始认证过程，并按照出现的提示操作。
下载评估数据集后，将使用`DetectionDataset.from_coco()`方法将其导入监督。
from roboflow import Roboflowrf = Roboflow(api_key="**YOUR API KEY HERE**")project = rf.workspace("vehicle-mscoco").project("vehicles-coco")dataset = project.version(2).download("coco")
在进行测试之前，需要设置类映射。Rekognition对象检测模型有289个类别，其中许多类别可能会重叠。为了目的，发现在类别列表中有三类与车辆检测相关：`Vehicle`和`Car`。在有限测试中，发现这些类别涵盖了模型最准确的检测，但可能会有一些实例，其中检测到`Fire Truck`类别，但没有检测到`Car`或`Vehicle`。在测试人员检测时也发现了类似的行为，稍后将进行介绍。
然后，设置了一个回调函数，以便监督可以运行模型对抗评估数据集中的图像。一旦有了这个设置，就可以开始评估Rekognition的性能，使用mAP基准测试函数，得到59.05%的结果。
mean_average_precision = sv.MeanAveragePrecision.benchmark( dataset = sv_dataset, callback = callback)print(f"Final mAP: {mean_average_precision.map50}")
现在已经得到了Rekognition模型的结果，可以对Roboflow Universe的专业模型进行相同的评估。输入Roboflow API密钥后，可以从Universe中加载模型。与Rekognition的过程类似，也可以为测试设置一个回调函数。
def callback(np_image): image = cv2.cvtColor(np_image, cv2.COLOR_RGB2BGR)
进行评估后，得到了65.92%的结果，比Rekognition模型提高了6.87%。
在Universe中得到65.92%的结果，在Rekognition中得到59.05%的结果后，希望测试计算机视觉的其他流行用例。之前使用人员检测用例比较了Google Cloud Vision的通用对象检测API，决定对Amazon Rekognition进行评估。
最初，从Rekognition得到的结果低至29%。在有限经验中，发现Rekognition偶尔会在返回某些类别的边界框位置时遇到困难，而不是其他类别。为了尽可能公平地评估Rekognition与其他产品，在类映射中添加了`Person`、`Man`、`Male`和`Female`类别，得到了44.67%的改进结果。