增强现实技术的发展为创造互动和引人入胜的体验提供了激动人心的机会。本文将详细介绍如何将Roboflow与Lens Studio集成,从训练模型到发布Snapchat镜头的全过程。Roboflow平台的易用性使得不同水平的个人都能够成功训练和部署模型,强调了其对每个人在计算机视觉旅程中的可访问性和用户友好性。
首先,确保有一个Roboflow账户。如果还没有,可以注册一个免费的Roboflow账户,并按照这些教程创建一个计算机视觉模型。
在这个演示中,将从一个专注于停止标志和人行横道检测的训练好的模型开始。该模型使用大约1500张来自RoboflowUniverse的标注图像进行训练。或者,可以使用Universe上的50,000多个预训练模型之一。要使用Universe模型,请在Universe中探索数据集,然后点击侧边栏的“模型”。跳到第4步,了解需要遵循的后续步骤。
通过Roboflow Universe,可以访问计算机视觉项目所需的大量资源。这包括近1.5亿张图像、20万个数据集和50,000个微调模型。该平台简化了收集标注图像的过程,使能够轻松获得训练各种模型所需的数据。
在Roboflow平台上导航到训练好的模型,并点击屏幕左侧的“部署”选项:这将打开一个页面,可以在该页面上使用各种媒体类型测试模型,如图像、视频,甚至网络摄像头。在下面的示例中,使用了一张停止标志图像,展示了模型以92%的置信度检测标志的能力。
在确认模型按预期工作后,向下滚动并点击“使用Snap AR的Lens Studio”。这将带进入一个屏幕,显示将下载哪些文件以及模型中使用的类别顺序。这个顺序在后续步骤中将非常重要。点击“下载文件”按钮,并将下载的文件保存在一个方便访问的文件夹中。
在继续之前,请确保已下载并安装了Snapchat的Lens Studio。如果还没有这样做,请按照提供的链接下载该应用程序。安装完成后,登录Snapchat账户,然后返回到保存Roboflow模板和兼容模型文件的位置。
首先解压缩下载的Roboflow-Lens-Template文件。解压缩后,找到名为Roboflow-Lens-Template.Isproj的文件并点击它继续。这将带进入Lens Studio应用程序,它看起来像这样:在应用程序的左上角找到并点击ML Controller框:这将加载默认示例,即一个硬币计数项目。通过点击ML模型框中的文件夹图标并将文件拖放到窗口中,加载之前从Roboflow下载的模型权重(.onnx文件)。
调整“Scale”的权重为每个通道0.0039,并导入修改后的设置:
scale = 0.0039
回顾第4步,记住类别呈现给顺序,在本例中是“人行横道”然后是“停止标志”。在Lens Studio模板中相应地更新标签,确保它们与所需的类别匹配。删除任何不必要的标签。
要修改指导用户寻找停止标志和人行横道的提示文本,请点击“Hint [EDIT_CHILDREN]”,然后点击“Hint Text”。这将打开预览窗口旁边的“Text”标签。此标签允许修改用户在使用镜头时将看到的文本。默认情况下,文本将显示“LOOK FOR BERRIES”,但希望将其定制为检测停止标志和人行横道的特定目的。
除了修改提示文本外,还可以通过替换“Texture”框中的默认图像进一步增强镜头的视觉效果。在本例中,将用停止标志图像替换默认图像,与其预期目的保持一致。
可以通过点击应用程序右上角的“Preview on Device”按钮来预览镜头。这将允许在提交审核和发布之前在移动设备上预览镜头。如果准备发布镜头,请继续进行“Publish Lens”,可以自定义镜头名称,指示与前后摄像头的兼容性,并在需要时配置高级图形功能。
提交镜头后,将被定向到my-lenses.snapchat.com。在这里,可以设置一个新的Lens Folder并配置镜头详细信息。“Lens Details”页面对于提供帮助Snapchatters找到镜头的信息非常重要。可以调整可见性,选择类别,添加相关标签,并为镜头设置扫描触发器。这些详细信息增强了镜头的可发现性并优化了其使用。完成镜头详细信息后,提交镜头以供审核。
当滤镜获得批准后,可以与他人分享,允许Snapchatters发现并享受镜头!