Roboflow专用部署是为计算机视觉项目设计的服务器,预装了Roboflow 推理功能,旨在帮助在构建和测试应用程序逻辑时,无需配置服务器即可运行模型。
专用部署的优势
专用部署为提供了专用的GPU和CPU资源,这意味着可以在不担心驱动程序或其他与设置GPU服务器相关的摩擦的情况下,自动配置使用GPU的部署。
可以在每个工作空间中拥有一个专用部署,该部署将运行六小时,之后需要请求新的部署。目前,专用部署的使用是免费的,未来将根据选择的实例类型(CPU、T4、L4)定价。
如何配置和管理专用部署
可以通过Roboflow工作流Web应用程序来配置、管理和删除专用部署。Roboflow工作流是一个低代码、基于Web的应用程序构建器,用于创建计算机视觉应用程序。
要创建专用部署,首先创建一个Roboflow工作流。在Roboflow仪表板中点击左侧的“工作流”,然后点击“创建工作流”。接着点击左上角的“在托管API上运行”链接,然后选择“专用部署”来创建和查看专用部署。
设置部署名称,选择需要CPU还是GPU,然后点击“创建专用部署”。部署将被配置,可能需要几秒钟到几分钟的时间。当部署准备好后,状态将更新为就绪。然后可以点击“连接”,在工作流编辑器中使用部署与工作流一起使用。
使用命令行界面(CLI)管理专用部署
还可以使用Roboflow命令行界面(CLI)来创建、管理和删除专用部署实例。要安装Roboflow CLI,请运行:
pip install roboflow
然后,使用以下命令通过Roboflow进行身份验证:
roboflow login
登录命令将引导通过一个交互式过程进行身份验证。一旦登录成功,就可以开始配置和管理专用部署了。
如何使用专用部署
可以将专用部署与在Roboflow上训练的模型、上传到Roboflow的模型以及Roboflow推理支持的基础模型一起使用。还可以在Roboflow工作流中使用它,这是一个低代码、基于Web的计算机视觉应用程序构建器。
可以并发运行多个模型,只要它们适合GPU类型的可用RAM。可以在所有实例类型上并发运行几个Roboflow模型。基础模型占用更多的RAM,可能只能根据实例类型加载几个基础模型。
让使用在Roboflow上训练的模型来测试专用部署。首先,安装Roboflow Python包和推理SDK:
pip install roboflow inference-sdk
然后,创建一个新的Python文件并添加以下代码:
from inference_sdk import InferenceHTTPClient
# 初始化客户端
CLIENT = InferenceHTTPClient(
api_url="DEPLOYMENT_URL",
api_key="API_KEY"
)
# 对本地图像进行推理
result = CLIENT.infer("YOUR_IMAGE.jpg", model_id="MODEL_ID")
print(result)