在生产环境中,模型监控是确保模型性能和稳定性的关键工具。通过监控模型的运行情况,可以及时发现并解决潜在问题。本文将详细介绍如何使用模型监控功能,包括查看模型性能统计、预测结果、设置实时警报以及添加自定义元数据。
模型监控提供了丰富的统计数据,帮助用户了解模型在不同时间段的表现。默认情况下,统计数据展示最近一周的情况,但用户可以自由调整时间范围。在模型监控仪表盘中,用户可以看到模型的总请求次数、平均置信度和平均推理时间等关键指标。
通过点击“监控”标签,用户可以进入模型监控界面。在这里,用户可以查看到与模型相关的三个关键统计数据:总请求次数、平均置信度和平均推理时间。这些数据默认显示最近一周的数据,但用户可以通过顶部的按钮来修改时间范围。
在模型标签下,用户可以选择特定的模型来查看其数据。除了上述统计数据外,用户还可以查看模型中每个类别的检测数量,并了解其与其他类别的分布情况。点击页面右上角的“查看所有推理”按钮,用户将被导航到一个新页面,在这里可以看到模型的所有预测结果,以及任何添加到推理中的自定义元数据。
为了查看推理的子集,用户可以使用页面右上角的过滤器。在“最近推理”或“所有推理”视图中,一些推理包含了图像。这些图像是由主动学习机制捕获的。设置更频繁的主动学习规则将导致显示更多的图像。点击图像将打开全屏视图,其中包含了模型预测的边界框(或多边形)。
要创建主动学习规则,用户需要访问项目的主页面,并点击左侧导航面板底部的“主动学习”。在这里,用户可以配置自己的规则。需要注意的是,由主动学习生成的图像将计入工作区的图像配额。
用户和团队的其他成员可以订阅实时警报,以便在模型出现问题或异常时收到通知。例如,如果模型的置信度突然下降,或者推理服务器宕机,导致模型停止运行,团队将收到电子邮件通知。要创建警报,请遵循alerting guide
。
为了将额外的元数据附加到推理上,可以使用模型监控的自定义元数据功能。使用自定义元数据,用户可以为推理添加诸如图像拍摄位置、预测的预期值等信息。自定义元数据将显示在“最近推理”和“所有推理”视图中。要将自定义元数据附加到推理结果,请参见Custom Metadata API
文档。
对于自动化和集成到外部系统,用户可以通过模型监控API来获取模型监控统计数据。模型监控支持使用Roboflow的托管API或Roboflow推理服务器进行的推理请求,前提是推理服务器可以访问互联网。这包括使用Roboflow的License Server
的边缘部署。
目前,模型监控不支持使用推理管道进行的推理请求,但计划在不久的将来添加支持。