QLoRA 版本兼容问题

三方库 的 兼容版本中等偏稳定、日常 QLoRA SFT 微调完全能用的折中组合pyhton 3.10 torch2.3.1 transformers4.41.2 bitsandbytes0.43.1 trl0.9.6 peft0.11.1依赖关系peft 依赖 transformers、torchtrl 依赖 transformers、peft、torch、datasetsbitsandbytes 依赖 torch这是代码里 import、底层调用的强制要求没有对应库直接无法安装 / 导入。CUDA 兼容说明CUDA ( CUDA Toolkit ) 是 NVIDIA 写的完整 GPU 开发工具全家桶包含 CUDA 运行时内核、编译器、调试工具所有 GPU 底层计算逻辑都在这里纯 C/C。CUDA 是 NVIDIA 给 显卡 做并行计算的 底层驱动平台torch是唯一直接对接 CUDA 的库。通俗的说CUDA ——连接着—— GPU硬件Torch ——连接着—— CUDAC代码其他 py库 ——连接着——Torchpython 代码不同 CUDA 版本底层算子、内存接口、硬件指令不一样所以所有包都要和 CUDA 配对否则 GPU 无法运算、量化报错、训练直接崩溃。版本对应torch和 CUDA 强绑定根源PyTorch 分多个安装包cu118/cu121/cu124每个包内部内置了对应版本的 CUDA 运行时库torch 所有 GPU 操作张量运算、模型前向/反向传播都调用 CUDA API硬性规则你装的torch2.3.1cu121 这个 torch 是基于 CUDA 12.1 编译电脑显卡驱动版本必须 ≥ CUDA 12.1 最低驱动要求否则识别不了GPU其他库不自带CUDA全部复用 torch 内置的 CUDA 环境。版本安装torch 显卡版本 带 CUDA # cu121 后缀代表内置CUDA12.1运行库pipinstalltorch2.3.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121# cu118 后缀pipinstalltorch2.3.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118torch CPU版无 CUDA pipinstalltorch2.3.1版本查看执行命令pip show torch看Location上方的Version字段GPU包Version: 2.3.1cu121带cu121后缀CPU包Version: 2.3.1干净无后缀包名里的cu12代表大版本 12对应 CUDA Toolkit 12.1。只要 torch 版本带cuXX后缀执行下面命令一定能查到三个 cuda 运行库pip list|grepnvidia-cuda# 输出nvidia-cuda-cupti-cu1212.1.105 nvidia-cuda-nvrtc-cu1212.1.105 nvidia-cuda-runtime-cu1212.1.105–index-url 讲解拆开两部分理解--index-url是 pip 的参数意思指定包下载仓库地址后面https://download.pytorch.org/whl/cu121是 PyTorch 官方专属仓库路径核心作用PyTorch 分很多版本CPU、cu118、cu121、cu124体积巨大不放在默认pypi仓库单独存在自己的服务器。所以 PyPI 上只上架了纯 CPU 版本 torch。pip 默认去公共仓库 PyPIpypi.org拉取包所以 默认 就是拉取 CPU 版本的。加这一行的目的告诉 pip去这个CUDA12.1专属仓库下载适配CUDA12.1的GPU版torch而不是下载纯CPU版本。版本查看一、查看系统安装的 CUDA Toolkit 版本nvcc打开终端执行nvcc-V# 或者nvcc--version输出示例nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2024 NVIDIA Corporation Built on Wed_Apr_17_19:19:09_PDT_2024 Cuda compilation tools, release 12.4, V12.4.131 Build cuda_12.4.r12.4/compiler.33887368_0这里release 12.4就是 CUDA Toolkit 版本。二、查看 显卡驱动 支持的最高 CUDA 版本nvidia-sminvidia-smi右上角会显示CUDA Version: 12.5重点这里只是驱动支持的最大CUDA不是你安装的CUDA Toolkit版本二者可以不一致。三、Python 代码查看当前 PyTorch 绑定的 CUDA进入 python / 你的虚拟环境importtorch# 查看pytorch编译时用的cuda版本print(torch.version.cuda)# 查看是否可用cudaprint(torch.cuda.is_available())