Windows Subsystem for Linux 2 (WSL2) 是一个强大的工具,它允许Windows 10及更高版本的用户通过终端界面异步运行Ubuntu。可以通过Microsoft Store免费下载Ubuntu 20.04.5 LTS版本。安装完成后,只需在Windows搜索栏中输入Ubuntu并启动应用程序即可运行WSL2。
尽管Ubuntu20.04.5 LTS通常已经预装了Docker,但如果发现没有,以下是一些在Ubuntu上安装Docker的有用命令。类似于Anaconda的安装,也可以选择运行Docker Desktop来避免手动安装Docker。完整的安装文档可以在这里找到:Ubuntu上安装Docker Engine。
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin
安装完成后,可以在WSL2环境中成功运行Docker。接下来,可以启动Docker容器来运行TRT容器。要运行容器,需要使用以下命令,这将开始在端口9001上接受推理请求。
sudo docker run --gpus all -p 9001:9001 roboflow/roboflow-inference-server-trt
现在GPUTRT容器已经在Docker中运行。可以打开另一个Ubuntu终端,这个终端将用于向Docker容器发送推理数据。使用ls
和cd
命令导航到想要运行推理的图像位置,并使用以下命令。
如果是第一次进行推理,模型可能需要一些时间来编译。一旦模型构建完成,后续的推理将会更快。
base64 your_img.jpg | curl -d @- "http://0.0.0.0:9001/[YOUR MODEL]/[YOUR VERSION]?api_key=[YOUR API KEY]"