记录一下部署GPU服务器的过程

最近组了一台4060Ti 16G的电脑，打算用来做GPU服务器，记录一下我的配置过程。

安装nvidia驱动

sudo apt install nvidia-driver-570-server
sudo apt install nvidia-utils-570-server

安装docker

export DOWNLOAD_URL="https://mirrors.tuna.tsinghua.edu.cn/docker-ce"
curl -fsSL https://get.docker.com/ | sh

安装nvidia-container-toolkit

参考这个 https://mirrors.ustc.edu.cn/help/libnvidia-container.html

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://nvidia.github.io#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://mirrors.ustc.edu.cn#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

部署comfyui环境

这里我把模型和一些数据都放在宿主系统，然后映射到容器里。

mkdir comfyui_data
mkdir comfyui_data/user
mkdir comfyui_data/input
mkdir comfyui_data/output
mkdir models
sudo docker create -it --name comfyui_0 -p 8188:8188 -v comfyui_data:/comfyui_data -v models:/comfyui_models --gpus all ubuntu:latest

进入容器，下面是在容器内的操作。其中comfyui的clone我使用的是国内的镜像。

python3 -m venv comfyui_venv
. comfyui_venv/bin/activate
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu128
git clone https://jihulab.com/hanamizuki/comfyui
cd comfyui
git checkout v0.3.41
pip install -r requirements.txt

删掉models等目录，然后创建软链接，指向从宿主映射过来的目录。

ln -s /comfyui_models ./models
ln -s /comfyui_data/input ./input
ln -s /comfyui_data/output ./output
ln -s /comfyui_data/user ./user

开始运行，目前还没尝试别的参数。

python3 ./main.py --listen