支持多种平台和边缘设备
Roboflow支持将模型部署到云端、网页浏览器、智能手机应用,甚至是边缘设备如NVIDIA Jetson和Luxonis OAK。现在,还增加了对树莓派的支持,让可以使用现有的应用程序代码无缝地与树莓派配合使用。
系统要求
需要一台运行64位Ubuntu系统的树莓派4或树莓派400。在树莓派的命令行中输入arch
并确认输出为aarch64
以验证系统兼容性。
安装指南
推理服务器通过Docker作为微服务运行。需要在树莓派上安装Docker,推荐使用curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh
进行安装。然后从Dockerhub拉取推理服务器,它会自动检测正在树莓派上运行并安装正确的版本:sudo docker pull roboflow/inference-server:cpu
。运行推理服务器并传递网络卡:sudo docker run --net=host roboflow/inference-server:cpu
。
与应用程序一起使用
树莓派上的Roboflow推理服务器与托管API和其他推理服务器的API规范兼容,因此可以通过将https://detect.roboflow.com
替换为http://localhost:9001
来使用现有的代码。此外,Roboflow pip包现在支持本地推理服务器,因此如果正在编写Python应用程序,使用模型就像pip install roboflow
然后from roboflow import Roboflow rf = Roboflow(api_key="YOUR_API_KEY_HERE") version = rf.workspace("your-workspace").project("YOUR_PROJECT").version(1, local="http://localhost:9001") prediction = version.model.predict("YOUR_IMAGE.jpg") print(prediction.json())
一样简单。
性能测试
可以使用Server Benchmarker
来查看模型运行速度。在GitHub上克隆roboflow-ai/server-benchmark
仓库,运行npm install
,在仓库的顶级目录中添加RoboflowAPI密钥文件.roboflow_key
,编辑benchmark.js
配置以指向http://localhost:9001
并引用Roboflow工作区和模型,然后运行node benchmark.js
。它将使用Pi获取验证集中的图像的预测,并返回mAP和速度。在树莓派上看到的推理速度大约为1.3fps,这对于许多用例(如安全摄像头监控、入口控制、占用计数、零售库存等)来说已经足够了。