在模型监控系统中,警报是一种重要的机制,它可以帮助及时地发现和响应模型性能的异常变化。以下是如何在模型监控仪表板上创建和管理警报的详细步骤。
首先,需要登录到模型监控系统,并导航至模型监控仪表板。这是开始设置警报的起点。在仪表板上,可以查看所有模型的当前状态和性能指标。
在模型监控仪表板的顶部,会看到一个“创建新警报”的按钮。点击这个按钮,将开始创建一个新的警报。
在创建警报的过程中,首先需要为警报命名。虽然这一步是可选的,但强烈建议为警报命名,这样可以在以后快速识别和查找特定的警报。
接下来,需要配置警报规则。这包括选择想要为哪个模型创建警报,选择模型的特定版本,以及选择想要监控的类别和指标。
// 只有已训练的模型版本才会出现在下拉菜单中。
// 如果工作空间配置了SSO规则,则只有有权访问的模型才会显示。
model = selectModel();
version = selectVersion(model);
选择一个模型以及该模型的一个版本。如果没有选择版本,则默认监控该模型所有版本的所有推断结果。
选择一个想要为警报目标的类别,然后选择一个指标和一个阈值。当推断结果达到阈值时,就会触发警报。
可以定义一个警报窗口,这是一个用于确定是否触发警报的推断结果集合。例如,如果选择“30分钟”作为窗口,则只有在过去30分钟内(滚动计算)的推断结果会被用来确定是否达到了触发警报的阈值。
现在,可以配置一个工作空间中的团队成员列表,以便在警报触发时发送通知。默认情况下,警报只会发送给。
最后,需要选择每小时和每天发送警报的最大数量。无论警报触发了多少次,设置的每小时或每天的最大通知次数就是将收到通知的最大次数。