Lens Studio支持多种任务类型,包括对象检测、分类、实例分割和语义分割。需要注意的是,只有使用Roboflow Train 3.0训练的模型才被支持。可以通过检查与模型关联的版本页面来确认模型是否是在Roboflow Train 3.0上训练的。
要将模型部署到Lens Studio,首先在Roboflow侧边栏点击“Deploy”,然后向下滚动直到看到“Use with Snap Lens Studio”选项。点击“Export to Lens Studio”按钮,将会弹出一个窗口,显示模型中的类别信息。这些类别是有序的,将在后续步骤中用于在Lens Studio中配置模型。请记下类别列表以备后用。此外,还会下载两个文件:一个是Roboflow Lens Studio模板,另一个是模型权重。Roboflow Lens Studio模板大小为100MB,所以下载模板可能需要一些时间,具体取决于网络连接速度。
如果还没有安装Lens Studio,可以访问Snap AR网站下载最新版本的Lens Studio。安装完成后,就可以开始在Lens Studio中配置模型了。本节将使用之前下载的RoboflowLens Studio模板,但也可以在任何应用中使用模型权重,配合MLController组件使用。
解压缩之前下载的RoboflowLens Studio模板,然后在解压缩的文件夹中打开“Roboflow-Lens-Template.Isproj”文件。打开应用后,会看到类似这样的界面:默认情况下,模板使用了一个硬币计数模型。以之前构建的扑克牌模型为例,这个应用会在每个预测周围绘制一个框,但可以使用Lens Studio添加自己的滤镜和逻辑。
在Lens Studio左侧边栏顶部点击“ML Controller”框:这将打开一个框,可以在其中配置模型,以便在预览窗口旁边的应用中使用。演示应用配置为硬币计数示例。要使用自己的模型,首先点击“ML Model”框,然后将从Roboflow下载的权重拖入弹出框中。当拖入权重时,会提示一些配置选项。在弹出框的“Inputs”部分,将每个“Scale”值设置为0.0039,保持默认的偏置值不变。然后点击“Import”导入模型。
现在模型已经加载到Lens Studio中。还有一个步骤:告诉模型正在使用的类别。在之前使用的ML Model按钮下方的“Class Settings”标签中,将看到一个类别列表。这些类别在演示项目中是为硬币计数示例配置的,但如果是在自己的Lens Studio项目中工作,这些值将是空白的。