在计算机视觉领域,提供了一系列的网络工具来加速从构思模型到生产就绪系统的整个过程。为此,推出了Quickstart,这是一个全新的以开发者为中心的体验,它将引导使用计算机视觉模型与网络摄像头进行交互,修复计算机视觉模型,并将模型集成到应用程序中。通过Quickstart,可以在两分钟内设置好一个Notebook,通过它运行模型推理。不需要任何先前的计算机视觉经验就可以开始。
要安装Quickstart,需要运行两行代码:
git clone https://github.com/roboflow/quickstart
cd quickstart && ./setup.sh
首先,在GitHub上克隆RoboflowQuickstart仓库。该仓库包含五个可以本地运行的Jupyter Notebook。然后,进入Quickstart目录并运行安装脚本。这个脚本旨在适用于Debian、Ubuntu、macOS、Linux mINT、OpenSUSE以及各种其他基于Unix的操作系统。要在Windows上使用Quickstart,请在机器上使用Windows系统上的Linux环境。
- 安装Node.js和Python 3;
- 创建一个虚拟环境,在其中安装项目的pip依赖项;
- 通过本地机器上的Roboflow推理服务器启动,将通过它与Roboflow API进行交互;
- 打开quickstart.ipynb Notebook,这是系列中的第一个交互式Notebook。
安装过程完成后,应在浏览器中打开一个Jupyter Notebook。如果Notebook没有打开,请在浏览器中导航到,然后打开quickstart.ipynb Notebook文件。
要使用Notebook,需要一个免费的Roboflow账户。如果还没有账户,可以在上创建一个账户。当有了账户后,运行Notebook中的第一个单元格。这将允许与Roboflow进行身份验证。
将获得一个链接,用于在Roboflow仪表板上创建一个身份验证令牌。点击链接。这将打开一个页面,让选择令牌将授予访问权限的工作区。建议选择一个个人工作区。Roboflow仪表板将给一个密钥,粘贴到Notebook中。
粘贴密钥后,按回车。这将验证身份,以便可以运行教程中的指南。
Quickstart Notebook系列包含四个教程:
- Quickstart:使用三种不同的目标检测模型进行推理;
- 创建模型:通过一个血细胞检测数据集的问题,逐步解决它;
- 模型类型:在Notebook中尝试分类、实例分割和语义分割模型;
- 集成:学习如何开始将计算机视觉模型的结果与自己定制的逻辑集成。
鼓励完整阅读这些笔记本。将建立对计算机视觉中的基本模型类型、诊断模型的常见问题以及使用RoboflowAPI的知识。
交互式示例与网络摄像头推理
在第一个Notebook中,将使用三个模型通过网络摄像头进行推理:一个在Microsoft COCO数据集上训练的模型,一个美国手语解释器,以及一个安全背心检测模型。要运行这些模型的推理,只需要运行每个代码单元。这里有一个Roboflow团队的Jacob运行美国手语模型的示例:
第一个Notebook中的模型来自Roboflow Universe,这是一个拥有超过50,000个预训练模型的存储库,可以测试这些模型,以及超过200,000个用于构建计算机视觉项目的数据库。
笔记本中的训练图
在第二个Notebook中,将诊断一个血细胞检测模型的问题。该模型无法泛化到从不同显微镜相机拍摄的图像。Notebook将指导如何解决这个问题并训练一个新模型以改进旧模型。当完成上传新图像后,可以训练一个新模型。启动训练后,将看到一个显示训练作业进度的交互式图表。训练完成后,图表将成为一个静态图像。
这是一个完整的训练图的示例:
使用这个图表,可以看到与模型相关的平均精度均值。这个数字越高,模型就越准确。可以在mAP指南中了解更多关于平均精度均值的信息。
在幕后,一个Roboflow推理服务器在后台运行。当使用网络摄像头运行推理时,信息会通过推理服务器发送。服务器提供了一个标准的本地API,可以通过它与Roboflow进行交互。
这个服务器运行在以下URL:
http://localhost:9001
推理服务器提供了一系列的端点,这些端点在开始构建自己的模型时可能会很有帮助,从运行模型推理到计算和比较CLIP文本和图像嵌入。如果对推理服务器API感兴趣,可以直接通过笔记本中预写的示例进行操作,也可以编写自己的代码与服务器进行交互。可以在文档中了解更多关于API架构的信息。
推理服务器可以部署在各种设备上,从NVIDIA Jetson到Raspberry Pi。因此,编写的任何查询推理服务器的代码都将在Quickstart笔记本和任何运行服务器的地方工作。
Roboflow Quickstart让可以快速搭建一个本地开发环境,可以在几分钟内对计算机视觉模型进行推理。使用Quickstart,可以玩转目标检测、分类和分割模型。将开始了解如何诊断模型的问题并解决这个问题。