在部署了用于工具包组装系统的检测螺母、螺栓和螺丝的模型的场景中，实时收集模型表现数据为提供了关于视觉系统运行状况的重要见解。很高兴宣布Roboflow模型监控功能，它提供了对部署的视觉模型性能的详细洞察。所有这些信息都安全地从Roboflow平台上的一个中心位置进行管理，以帮助管理部署在数千个地点的数百个模型。
Roboflow模型监控支持使用Inference进行的推理，这是一个开源计算机视觉推理服务器，可以在自己的硬件上运行模型。这包括使用Roboflow托管推理API进行的所有推理。
Roboflow模型监控为提供了关于部署在Roboflow推理上的模型性能的广泛见解。可以使用此功能跟踪业务的投资回报率，并实时了解模型在生产中部署时在不同类别上的精度。如果模型开始在特定类别上失败（这可能是由模型漂移引起的问题），将能够立即在模型监控仪表板上看到这一点，并接收实时警报。
可以评估以下统计数据：
这些统计数据可以针对选定的时间段进行查看。要访问此功能，请在Roboflow帐户中点击“监控”标签。将出现一个模型监控仪表板，可以在其中选择要评估模型的时间段。显示的数据将对应于选择的时间过滤器（默认为过去一周）。
在模型监控仪表板上，呈现了模型性能的聚合视图。可以看到所有模型的请求计数、平均推理时间和平均置信度。还可以看到这些统计数据按部署的每个单独模型细分。
模型监控使能够主动分析生产中的模型。如果在任何时候注意到模型性能比预期差——例如，在模型版本推出后，或在新制造设备推出几个月后——可以在Roboflow中查看数据，以更好地了解问题。例如，一个类别可能在测试集中没有得到适当的表示（可以在Roboflow健康检查功能中了解更多）。模型可能在自上次训练模型以来环境发生变化的对象上挣扎——照明变化是一个常见问题。可以使用Roboflow的模型评估工具来了解是否是这种情况，如果是，模型在哪些环境中最挣扎。
借助发现的见解，可以进行更改并训练模型的新版本以提高性能。
虽然Roboflow的模型监控仪表板提供了基本的操作数据，以提高对生产中对模型进行推理的可观察性，但还可以将此信息连接到特定业务用例。例如，如果用例涉及不同位置的摄像头，希望能够过滤特定位置的数据，可以使用Roboflow API将位置信息附加到每个单独的推理上。这将允许在模型监控仪表板中按位置进行排序、搜索和过滤。
添加此数据涉及一个简单的HTTP请求。每个来自托管推理API或推理容器的推理响应都会在响应中返回一个inference_id属性。有了这个，就可以通过POST请求将信息附加到该请求上。有关更多信息，请访问自定义元数据文档。
模型监控仪表板还使能够查看推理请求中使用的实际图像。在Roboflow的主动学习管道中收集的任何图像都将出现在模型监控仪表板上。要配置主动学习规则，请查看此处的说明。请注意，并非所有图像都会被收集，是否采样图像由配置的主动学习规则决定。
实时更新对于了解生产模型的情况非常重要。模型监控警报允许在遇到某些事件时接收通知。例如，如果模型跟踪生产线上的缺陷，可以在检测到超过一定数量的缺陷时收到警报。有关设置警报的信息，请访问警报文档页面。
要管理创建的警报，可以从主仪表板视图中点击“管理活动警报”按钮。从这里，可以通过点击铅笔图标来编辑配置的警报，或者通过点击垃圾桶图标来删除它。任何触发的警报都可以通过点击主仪表板视图表中的“警报”标签来查看。