光明节陀螺游戏与计算机视觉的结合

Roboflow工作不久,被要求完成一个计算机视觉项目。灵机一动,何不将深爱的节日——光明节,与生活中的新鲜事物——Roboflow结合起来呢?

作为一个在迈阿密长大的犹太小男孩,在光明节期间学会了一个叫做陀螺的游戏。在深入探讨机器学习项目之前,让先向介绍一下这个游戏。

如何玩陀螺游戏

陀螺游戏是一种玩家轮流旋转带有希伯来字符的陀螺的游戏。根据陀螺旋转停止的方式,玩家采取不同的行动。对于不熟悉的人来说,这就是旋转陀螺的样子。

规则如下:

  1. 玩家分发金币(用金纸包裹的巧克力,看起来像硬币)
  2. 每个玩家轮流旋转陀螺
  3. 陀螺有四面,每一面都提示玩家采取行动:
    • 如果נ‎ (nun)朝上,玩家什么也不做。
    • 如果ג‎ (gimel)朝上,玩家得到锅中的所有东西。
    • 如果ה‎ (hay)朝上,玩家得到池中一半的筹码。
    • 如果ש‎ (shin)朝上,玩家将自己的一个金币放入锅中。
  4. 当然,赢家可以吃掉所有的金币。

在学习玩陀螺游戏时,有时会忘记每个字符的名称以及它们在游戏中对应的行动。认为创建一个能够理解陀螺上每个符号的计算机视觉模型会很有趣,这样可以让学习玩这个游戏变得更容易。

Roboflow模型成功地识别出陀螺和它停止旋转时对应的字符。使用了“尝试使用网络摄像头”功能立即测试模型,如所示!

为了构建上述模型,收集了569张图片,并在每张图片上添加了1,371个注释。小心翼翼地包括了不同陀螺的图片,以及各种背景上的陀螺图片。发现这对于构建一个表现良好的模型至关重要:模型需要在多样化的示例上进行训练。然后使用Roboflow训练了模型,并使用“尝试使用网络摄像头”功能在手机上打开了模型。几个月前,听说了Roboflow,当时对计算机视觉只有一个模糊的概念。现在,仅仅几周后,就能够构建第一个工作模型了。

在6个类别中注释了569张图片。因为每张图片都显示了一个陀螺,并且只显示了一个字符,所以标记的陀螺数量与字符数量之间存在不平衡。

在上面,可以看到Roboflow平台提供的Health Check。创建适当代表的类别平衡是一个挑战,因为每张字母的照片也都包括了陀螺。随着继续改进模型,会添加更多只有希伯来字母的照片,而照片中没有陀螺。

这是在Roboflow Universe上的项目。在左侧,可以看到训练的版本数量。在图片的中心,可以看到用来显示训练模型准确性的三个关键数据点(maP、精确度和召回率)。

将这个项目作为一个起点,供其他人在已经开始的基础上进行构建。可以使用创建的模型,并构建自己的应用程序,例如,自动计分游戏或跟踪哪些字符似乎最常出现。

已经上传了陀螺数据集和模型,并在RoboflowUniverse上分享,以便可以使用它。

陀螺项目目标检测数据集

下载569张带有边界框标记的免费图片,用于目标检测。

希望这能帮助其他人学习陀螺游戏!如果使用数据集和/或模型构建了一些东西,请一定要告诉。迫不及待地想看到它。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485