在WSL2上安装和使用Docker进行GPU加速推理

Windows Subsystem for Linux 2 (WSL2) 是一个强大的工具,它允许Windows 10及更高版本的用户通过终端界面异步运行Ubuntu。可以通过Microsoft Store免费下载Ubuntu 20.04.5 LTS版本。安装完成后,只需在Windows搜索栏中输入Ubuntu并启动应用程序即可运行WSL2。

在WSL2上安装Docker(可选)

尽管Ubuntu20.04.5 LTS通常已经预装了Docker,但如果发现没有,以下是一些在Ubuntu上安装Docker的有用命令。类似于Anaconda的安装,也可以选择运行Docker Desktop来避免手动安装Docker。完整的安装文档可以在这里找到:Ubuntu上安装Docker Engine。

sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

安装完成后,可以在WSL2环境中成功运行Docker。接下来,可以启动Docker容器来运行TRT容器。要运行容器,需要使用以下命令,这将开始在端口9001上接受推理请求。

sudo docker run --gpus all -p 9001:9001 roboflow/roboflow-inference-server-trt

编译引擎并运行推理

现在GPUTRT容器已经在Docker中运行。可以打开另一个Ubuntu终端,这个终端将用于向Docker容器发送推理数据。使用lscd命令导航到想要运行推理的图像位置,并使用以下命令。

如果是第一次进行推理,模型可能需要一些时间来编译。一旦模型构建完成,后续的推理将会更快。

base64 your_img.jpg | curl -d @- "http://0.0.0.0:9001/[YOUR MODEL]/[YOUR VERSION]?api_key=[YOUR API KEY]"
沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485