模型监控解决方案 | Roboflow

在部署了用于工具包组装系统的检测螺母、螺栓和螺丝的模型的场景中,实时收集模型表现数据为提供了关于视觉系统运行状况的重要见解。很高兴宣布Roboflow模型监控功能,它提供了对部署的视觉模型性能的详细洞察。所有这些信息都安全地从Roboflow平台上的一个中心位置进行管理,以帮助管理部署在数千个地点的数百个模型。

Roboflow模型监控功能

Roboflow模型监控使能够:

  • 确定设备是否运行或离线
  • 查看操作的每个设备的推理数量
  • 查看预测的平均和中位数置信度
  • 测量平均推理时间
  • 查看包括检测在内的单个预测结果
  • 查看推理请求中使用的实际图像
  • 在仪表板中查看自定义元数据
  • 在关键事件发生或检测到异常时获得警报

Roboflow模型监控支持使用Inference进行的推理,这是一个开源计算机视觉推理服务器,可以在自己的硬件上运行模型。这包括使用Roboflow托管推理API进行的所有推理。

如何使用Roboflow监控视觉模型

Roboflow模型监控为提供了关于部署在Roboflow推理上的模型性能的广泛见解。可以使用此功能跟踪业务的投资回报率,并实时了解模型在生产中部署时在不同类别上的精度。如果模型开始在特定类别上失败(这可能是由模型漂移引起的问题),将能够立即在模型监控仪表板上看到这一点,并接收实时警报。

可以评估以下统计数据:

  • 推理计数
  • 检测计数
  • 精度
  • 平均置信度
  • 推理时间

这些统计数据可以针对选定的时间段进行查看。要访问此功能,请在Roboflow帐户中点击“监控”标签。将出现一个模型监控仪表板,可以在其中选择要评估模型的时间段。显示的数据将对应于选择的时间过滤器(默认为过去一周)。

模型监控仪表板上,呈现了模型性能的聚合视图。可以看到所有模型的请求计数、平均推理时间和平均置信度。还可以看到这些统计数据按部署的每个单独模型细分。

模型监控使能够主动分析生产中的模型。如果在任何时候注意到模型性能比预期差——例如,在模型版本推出后,或在新制造设备推出几个月后——可以在Roboflow中查看数据,以更好地了解问题。例如,一个类别可能在测试集中没有得到适当的表示(可以在Roboflow健康检查功能中了解更多)。模型可能在自上次训练模型以来环境发生变化的对象上挣扎——照明变化是一个常见问题。可以使用Roboflow的模型评估工具来了解是否是这种情况,如果是,模型在哪些环境中最挣扎。

借助发现的见解,可以进行更改并训练模型的新版本以提高性能。

虽然Roboflow的模型监控仪表板提供了基本的操作数据,以提高对生产中对模型进行推理的可观察性,但还可以将此信息连接到特定业务用例。例如,如果用例涉及不同位置的摄像头,希望能够过滤特定位置的数据,可以使用Roboflow API将位置信息附加到每个单独的推理上。这将允许在模型监控仪表板中按位置进行排序、搜索和过滤。

添加此数据涉及一个简单的HTTP请求。每个来自托管推理API或推理容器的推理响应都会在响应中返回一个inference_id属性。有了这个,就可以通过POST请求将信息附加到该请求上。有关更多信息,请访问自定义元数据文档。

模型监控仪表板还使能够查看推理请求中使用的实际图像。在Roboflow的主动学习管道中收集的任何图像都将出现在模型监控仪表板上。要配置主动学习规则,请查看此处的说明。请注意,并非所有图像都会被收集,是否采样图像由配置的主动学习规则决定。

实时更新对于了解生产模型的情况非常重要。模型监控警报允许在遇到某些事件时接收通知。例如,如果模型跟踪生产线上的缺陷,可以在检测到超过一定数量的缺陷时收到警报。有关设置警报的信息,请访问警报文档页面。

要管理创建的警报,可以从主仪表板视图中点击“管理活动警报”按钮。从这里,可以通过点击铅笔图标来编辑配置的警报,或者通过点击垃圾桶图标来删除它。任何触发的警报都可以通过点击主仪表板视图表中的“警报”标签来查看。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485