windows下使用WSL部署Dify+vLLM

安装wsl发行版wsl --install -d Ubuntu-22.04 --name dify-vllm --location D:\WSL\dify-vllm进入wsl环境1. 输入nvidia-smi确认已经安装了nvidia驱动2. 安装 Docker Engine执行以下命令逐条复制运行# 更新包管理器并安装依赖 sudo apt update sudo apt upgrade -y sudo apt install -y ca-certificates curl # 添加 Docker 官方 GPG 密钥和仓库 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装 Docker 引擎和 Docker Compose 插件 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # 将当前用户加入 docker 组免 sudo 运行 sudo usermod -aG docker $USER newgrp docker # 立即生效或退出重新登录 # 启动 Docker 服务 sudo service docker start验证安装docker --version docker compose version3. 部署 Dify# 克隆 Dify 项目 git clone https://github.com/langgenius/dify.git cd dify/docker # 复制环境变量配置文件 cp .env.example .env # 启动所有服务后台运行 docker compose up -d等待镜像拉取和容器启动完毕通过 Windows 浏览器访问http://localhost:804. 部署vLLM安装uvcurl -LsSf https://astral.sh/uv/install.sh | sh source $HOME/.local/bin/env使用uv创建虚拟环境~/pyenvs/vllmenv会自动创建uv venv ./pyenvs/vllmenv --python 3.11激活虚拟环境source pyenvs/vllmenv/bin/activate安装vllmuv pip install vllm安装huggingface-cli下载模型权重用uv pip install huggingface_hub使用hf-mirror加速下载echo export HF_ENDPOINThttps://hf-mirror.com ~/.bashrc source ~/.bashrc下载模型到指定目录需要查找到模型在huggingface上的IDhuggingface-cli download Qwen/Qwen2.5-1.5B-Instruct \ --local-dir /vllmModels/Qwen2.5-1.5B-Instruct \ --local-dir-use-symlinks False \ --resume-download下载完成后使用vllm启动本地路径python -m vllm.entrypoints.openai.api_server \ --model /vllmModels/Qwen2.5-1.5B-Instruct \ --gpu-memory-utilization 0.95 \ --port 8000