智能吸尘跟踪系统

在这个项目中,目标不仅仅是清洁地板,而是通过计算机视觉数据分析技术,将这一日常任务转变为洞察力和优化的宝库。这不仅仅是关于清洁地板,而是关于以最智能的方式进行清洁。实时跟踪、覆盖度量、热图——这些只是将标准吸尘会话提升为效率大师班的几个功能。因此,如果曾经想知道吸尘技术(或机器人的)是否达到了标准,来对地方了。

工作原理

本应用程序通过以下步骤帮助测试吸尘技能:

视频输入:首先,摄像头捕捉被吸尘的区域。这个俯视图作为整个过程的原始数据。

目标检测:接下来,部署自定义训练的机器学习模型(稍后会有更多关于此的信息)来识别正在行动的吸尘器。这对于机器人吸尘器和传统的手动吸尘器都有效。

跟踪和映射:随着吸尘器的移动,其路径和覆盖范围实时被跟踪。这就是计算机视觉的亮点——将像素数据转换为关于吸尘器效率的有意义的洞察。

热图和路径:工具生成几种不同的视觉输出。将看到一个追踪吸尘器旅程的路径,以及一个显示高浓度和低浓度区域的热图。对于特别注重细节的人,还有一个二进制掩码来指示哪些区域尚未被覆盖。

分析:最后,程序计算一个“覆盖分数”来量化吸尘的彻底程度。这是衡量清洁效果的直接方式。

构建自定义吸尘跟踪模型

这个项目最关键的部分之一是能够构建自己的自定义吸尘检测模型。然后使用这个模型来跟踪图像中吸尘器的位置。有了跟踪信息,可以计算覆盖范围,显示地毯被覆盖了多少。

下面,描述了如何构建自己的自定义吸尘检测模型。

收集视频素材:首先,需要图像——或者一个视频,可以将其分割成图像——可以在其中训练视觉模型。放置一个可以清晰查看打算清洁的区域的顶置摄像头。使用网络摄像头甚至手机!

上传视频到Roboflow:如果还没有,可以在Roboflow上创建一个账户。现在可以为对象检测创建一个新项目。

上传视频:导航到项目的“上传”部分并上传录制的视频。

帧提取:Roboflow将为提供从上传的视频中提取帧的选项。选择一个在数据集大小和模型准确性之间提供良好平衡的帧率。

标记帧:一旦帧被提取,需要对它们进行标记。在每个帧中围绕吸尘器(机器人或手动)绘制边界框。可以在这里找到更多信息。

创建数据集版本:要创建数据集版本,请单击与Roboflow项目关联的侧边栏中的“版本”。然后,单击“生成新版本”。

指定图像预处理:预处理确保数据集处于标准格式(例如,所有图像大小相同)。这一步对于确保在训练模型之前数据集是一致的至关重要。可以在这里找到更多信息。

指定图像增强:图像增强是将增强应用于数据集中现有图像的一步。这个过程可以帮助提高模型的泛化能力,从而在未见过的图像上表现更有效。可以在这里找到更多信息。

训练对象检测模型:要训练计算机视觉模型,请转到与数据集关联的版本页面。接下来,点击“开始训练”按钮。

就是这样!Roboflow的平台将负责其余的工作,使用标记的数据集微调选择的模型。一旦模型训练完成,将收到一封电子邮件通知。可以在这里找到更多关于Roboflow训练的信息。

模型评估:训练完成后,通过mAP、精确度和召回率等指标评估模型性能(可以在版本标签中看到)。如果需要,可以随时回去,添加更多数据,并重新训练。

项目实践

步骤1:设置程序

遵循GitHub页面上的说明。这包括拉取存储库并安装依赖项。

步骤2:配置设置

在存储库中,将找到一个config.yaml文件。这是可以调整设置以更好地满足需求的地方,无论是手动吸尘还是使用机器人。只需使用任何文本编辑器打开文件并根据需要更改参数。

步骤3:运行程序

在终端中导航到存储库文件夹,并运行: python main.py 这将启动程序,应该看到一个显示清洁空间的窗口。

步骤4:绘制吸尘区域

使用鼠标绘制要吸尘的房间部分。可以在不打算吸尘的沙发、椅子和其他区域周围绘制。

步骤5:享受魔法!

当或机器人吸尘器开始清洁时,程序将开始处理视频,观看程序如何跟踪移动,创建吸尘器、热图、路径和覆盖区域的可视化!

以下是和机器人吸尘的例子:

出于某种原因,机器人吸尘器拒绝靠近墙壁,但仍然很有趣,可以看到它所走的路径。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485