1. 从一张显卡到一套可复现的算力环境手里拿到一张新卡或者接手一台别人用过的GPU服务器第一件事该干什么我的习惯是先别急着装CUDA也别急着pip install torch而是老老实实把基准测试跑一遍。这个动作看起来像是“验货”实际上它决定了后面所有工作的地基稳不稳。GPU基准测试这件事往小了说是确认卡能不能跑满、散热扛不扛得住往大了说它是驱动验证、CUDA兼容性确认、深度学习环境部署这三件事的交汇点。你后面遇到的“torch.cuda.is_available()返回False”、“训练时loss突然变nan”、“多卡通信卡死”这些问题十有八九能在基准测试阶段提前暴露。这篇文章面向的是刚拿到GPU资源、准备搭建深度学习环境的人不管你是个人开发者用一张4060Ti还是运维在管一个GPU集群这套流程都能直接抄。我会从驱动验证讲到CUDA安装再到PyTorch和PaddleOCR这类框架的GPU版本部署中间穿插gpu-burn压力测试、多版本CUDA共存、WSL2下的注意事项这些实际踩过的坑。核心关键词就几个GPU、基准测试、驱动验证、深度学习环境部署、CUDA。整篇内容基于我这些年装过的几十台机器的经验不是官方文档的复述而是“实际这么干能跑通”的记录。先说一个基本认知GPU基准测试不是跑个分就完事。它至少包含三层——硬件层验证卡本身有没有问题、散热和功耗墙是否正常、驱动层验证驱动版本和CUDA版本是否匹配、nvidia-smi能否稳定输出、计算层验证CUDA核心能否被正确调用、显存带宽和算力是否达到标称值。这三层任何一层出问题后面深度学习环境部署都是空中楼阁。很多人跳过前两层直接装PyTorch结果卡在“CUDA version: 13.0 需要安装PyTorch的版本”这种版本匹配问题上一查就是半天。2. 驱动验证别让“windows无法验证此驱动”这类问题拖住你2.1 驱动版本与CUDA版本的对应关系驱动验证的第一步是搞清楚你的驱动版本支持到哪个CUDA版本。这不是随便选的NVIDIA的驱动有一个“CUDA Version”字段它表示该驱动最高能支持的CUDA运行时版本。你可以在命令行执行nvidia-smi输出右上角会显示类似“CUDA Version: 12.4”的字样。注意这个12.4不是说你只能装12.4而是说这个驱动最高支持到12.4的CUDA运行时。你可以装12.4以下的任何版本比如11.8、12.1但不能装12.5。这个规则在Ubuntu和Windows下都一样。我见过太多人在这里翻车明明驱动显示支持12.4他非要装12.6的CUDA结果安装程序直接报错或者装完了nvidia-smi能用但CUDA程序跑不起来。还有一种情况是驱动太老比如nvidia 545配CUDA 12.3你想装PyTorch 2.4要求的CUDA 12.4那就得先升级驱动。升级驱动在Ubuntu下可以用apt但要注意先卸载旧驱动否则容易出现“驱动装了但内核模块没加载”的尴尬局面。提示在Ubuntu 24.04上装4090驱动时推荐用ubuntu-drivers devices先看推荐版本再用apt install nvidia-driver-550这种带版本号的方式装比直接跑.run文件省心得多。.run文件在Secure Boot开启的机器上会要求签名处理起来很麻烦。2.2 Windows下的驱动验证与常见报错Windows环境有个经典问题“windows无法验证此驱动win7”。这个报错在Win7上出现得多Win10/11上偶尔也会遇到本质是驱动签名验证没通过。解决办法不是去关签名验证那会降低系统安全性而是去NVIDIA官网下载对应型号的WHQL认证驱动。WHQL是微软的硬件质量实验室认证带这个认证的驱动在Windows下基本不会报签名错误。另一个Windows下的坑是驱动装完后设备管理器里显示“Microsoft基本显示适配器”说明驱动没真正加载。这时候先别急着重装去设备管理器里右键显卡选择“更新驱动程序”手动指向NVIDIA驱动解压后的目录往往能解决。如果还不行用DDUDisplay Driver Uninstaller在安全模式下彻底清除旧驱动再装这是最干净的做法。WSL2下的驱动验证稍微特殊。WSL2不需要在Linux侧装NVIDIA驱动只需要在Windows侧装好驱动然后在WSL2里执行nvidia-smi就能看到显卡。如果你在WSL2里执行nvidia-smi报“command not found”那说明Windows侧的驱动没装好或者WSL2的内核版本太老。WSL2安装CUDA的流程和原生Ubuntu略有不同CUDA Toolkit要装在WSL2内部但驱动是共享Windows的。这个区别很关键很多人按原生Ubuntu的教程在WSL2里装驱动结果把WSL2搞崩了。2.3 驱动验证的实操检查清单驱动装完后别只看nvidia-smi能不能跑。我一般会做这几项检查nvidia-smi -q看详细输出重点看“Persistence Mode”是否开启多卡训练时建议开启、“Power Limit”是否正常、“Temperature”是否在合理范围。nvidia-smi -L列出所有GPU确认卡的数量和型号都对。跑一个简单的CUDA程序比如deviceQuery确认CUDA核心能被调用。这个程序在CUDA Samples里如果找不到CUDA Samples可以自己写一个几行的CUDA程序编译跑一下。检查/dev/nvidia*设备文件是否存在权限是否正确。在Docker里跑GPU时这个文件是映射的关键。如果这几项都过了驱动层就算稳了。接下来才是CUDA安装。3. CUDA安装多版本共存与卸载的实战细节3.1 CUDA安装方式的选择runfile还是debCUDA在Linux下有几种安装方式runfile、deb(local)、deb(network)、conda。我个人的偏好是如果只装一个版本用deb(local)如果要装多个版本共存用runfile。原因很简单deb方式会把CUDA装到/usr/local/cuda-12.x同时创建一个/usr/local/cuda软链接指向它。当你装第二个版本时deb方式可能会覆盖软链接导致原来的版本“消失”。runfile方式则允许你指定安装路径比如/usr/local/cuda-11.8和/usr/local/cuda-12.4各装各的互不干扰。conda安装CUDA是另一种思路它把CUDA运行时装在conda环境里不污染系统。这种方式适合“我不想动系统环境只想在某个项目里用特定CUDA版本”的场景。但要注意conda装的CUDA不包含驱动驱动还是得系统装。而且conda的CUDA版本更新往往滞后比如CUDA 12.4刚出时conda可能只有12.1。注意Ubuntu 24.04上装CUDA时如果遇到“cuda gzip: stdin: invalid compressed>function setcuda() { if [ -z $1 ]; then echo Usage: setcuda version return fi export CUDA_HOME/usr/local/cuda-$1 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH echo CUDA switched to $1 }这样每次开新终端执行setcuda 11.8或setcuda 12.4就能切换。注意LD_LIBRARY_PATH的顺序很重要如果系统里还有别的CUDA库顺序不对会导致链接到错误的版本。我习惯把$CUDA_HOME/lib64放在最前面。还有一个细节nvcc --version显示的版本取决于PATH里nvcc的路径而nvidia-smi显示的CUDA Version取决于驱动。这两个可以不一致这是正常的。比如驱动支持12.4但你当前PATH指向的是11.8的nvcc那nvcc --version显示11.8nvidia-smi显示12.4不冲突。3.3 CUDA卸载与版本迁移CUDA卸载这件事官方文档写得比较简略。如果是deb方式装的用apt remove cuda-12-4这种命令卸载但要注意它可能留下一些残留文件。如果是runfile方式装的运行/usr/local/cuda-12.4/bin/cuda-uninstaller这个工具会引导你卸载。卸载后记得检查/usr/local/下是否还有残留目录以及~/.bashrc里的环境变量是否要清理。CUDA迁移的场景也很常见比如你从一台机器迁移到另一台CUDA版本从11.8升到12.4。这时候除了重装CUDA还要注意PyTorch、PaddleOCR这些框架的版本也要跟着换。PyTorch的CUDA版本是编译时绑定的不能混用。比如PyTorch 2.0.1cu118只能在CUDA 11.8下跑你换成CUDA 12.4就得装PyTorch 2.4cu124。这个对应关系在PyTorch官网的“Previous PyTorch Versions”页面能查到。4. 深度学习环境部署PyTorch与PaddleOCR的GPU版本4.1 PyTorch GPU版本的安装与验证PyTorch安装教程GPU版这个搜索词热度一直很高说明很多人卡在这一步。我的建议是别用pip install torch这种默认命令它装的是CPU版本。要去PyTorch官网的“Get Started”页面根据你的CUDA版本选择对应的安装命令。比如CUDA 12.4对应的命令是pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124装完后验证import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.device_count()) print(torch.cuda.get_device_name(0))如果torch.cuda.is_available()返回False先别怀疑PyTorch去检查CUDA和驱动。常见原因有三个CUDA版本和PyTorch版本不匹配、LD_LIBRARY_PATH没设对、驱动太老。我遇到过一种情况是conda环境里装了cudatoolkit它和系统CUDA冲突导致PyTorch找不到正确的库。解决办法是conda uninstall cudatoolkit让PyTorch用系统CUDA。还有一个坑是“为了充分发挥GPU算力”有人会去调torch.backends.cudnn.benchmark True。这个设置确实能加速卷积运算但它会在第一次运行时做benchmark如果你的输入尺寸变化频繁反而会变慢。我的经验是输入尺寸固定时开尺寸变化频繁时关。4.2 PaddleOCR GPU版本的部署要点安装PaddleOCR GPU版本比PyTorch稍微麻烦一点因为PaddlePaddle的GPU版本对CUDA和cuDNN的版本要求更严格。以PaddlePaddle 2.6为例它支持CUDA 11.8和12.0对应的cuDNN版本也有要求。安装命令类似python -m pip install paddlepaddle-gpu2.6.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/装完后验证import paddle paddle.utils.run_check()如果输出“PaddlePaddle is installed successfully”并且能看到GPU信息就算成了。PaddleOCR本身是Python包pip install paddleocr即可但它依赖PaddlePaddle的GPU版本。如果PaddlePaddle装的是CPU版PaddleOCR也会跑在CPU上。我踩过的一个坑是PaddleOCR在GPU上跑推理时如果显存不够会报“out of memory”。这时候可以调paddleocr的use_gpu参数和gpu_mem参数限制显存使用。另外PaddleOCR的模型下载默认走的是国内源速度还可以但如果网络环境特殊可以手动下载模型放到~/.paddleocr/目录下。4.3 环境隔离与依赖管理深度学习环境部署最怕的就是依赖冲突。我的做法是每个项目一个conda环境环境里只装这个项目需要的包。conda环境的好处是隔离彻底坏处是占磁盘空间。如果磁盘紧张可以用venv但venv对CUDA这种系统级依赖的隔离不如conda。在conda环境里装CUDA相关的包时要注意conda install cudatoolkit和pip install torch的配合。我一般不在conda里装cudatoolkit而是让PyTorch用系统CUDA。这样环境更干净也更容易排查问题。如果非要用conda的cudatoolkit那就要确保LD_LIBRARY_PATH指向conda环境的lib目录而不是系统的。还有一个细节是opencv的CUDA版本。如果你要用带CUDA的OpenCV比如opencv4.10.0带CUDA那编译时要用-D WITH_CUDAON并且指定CUDA架构。这个编译过程比较耗时但编译一次后可以反复用。如果只是做图像预处理CPU版的OpenCV通常够用没必要上CUDA版。5. GPU压力测试与常见问题排查5.1 gpu-burn压力测试的实操gpu-burn是一个专门用来压GPU的工具它会用CUDA核心做浮点运算把GPU跑到满载。用法很简单git clone https://github.com/wilicc/gpu-burn cd gpu-burn make ./gpu_burn 60这个命令会让GPU满载跑60秒。跑的时候用nvidia-smi -l 1监控看温度、功耗、利用率是否正常。如果温度飙升到90度以上说明散热有问题如果功耗上不去说明功耗墙设得太低如果利用率上不去说明有瓶颈。我一般会跑两轮第一轮60秒看基本稳定性第二轮300秒看长时间高负载下会不会降频。如果300秒内出现“GPU has fallen off the bus”或者“Uncorrectable ECC error”那这张卡可能有问题得联系售后。提示gpu-burn在跑的时候如果机器同时有多个GPU可以用CUDA_VISIBLE_DEVICES0 ./gpu_burn 60指定某一张卡。多卡机器建议逐卡测试避免同时满载导致电源过载。5.2 常见问题速查表问题现象可能原因排查方法解决方式nvidia-smi报“No devices were found”驱动没装好或内核模块没加载lsmodgrep nvidiatorch.cuda.is_available()返回FalseCUDA和PyTorch版本不匹配nvcc --version和torch.version.cuda对比重装匹配版本的PyTorch训练时loss变nan显存溢出或数值不稳定减小batch size检查梯度加梯度裁剪用混合精度多卡训练卡死NCCL通信问题设置NCCL_DEBUGINFO看日志检查网络设置NCCL_SOCKET_IFNAMEGPU利用率低但显存占用高数据加载瓶颈用nvidia-smi dmon看增加DataLoader的num_workersCUDA安装报“invalid compressed data”下载文件不完整md5sum校验重新下载WSL2里nvidia-smi找不到Windows驱动没装或WSL内核太老wsl --update更新WSL2内核重装Windows驱动5.3 独家避坑技巧第一个技巧装CUDA之前先apt update apt upgrade把系统更新到最新。Ubuntu 24.04刚出的时候很多驱动和CUDA的依赖问题都是通过系统更新解决的。第二个技巧如果遇到“cuda samples找不到”别去网上乱下直接用apt install cuda-samples-12-4版本号对应你的CUDA版本。这个包会把samples装到/usr/local/cuda-12.4/samples编译后就能跑deviceQuery。第三个技巧多卡机器上如果nvidia-smi显示某张卡“Persistence Mode”是Disabled建议开启nvidia-smi -pm 1。这个设置能让驱动常驻内存减少多卡训练时的初始化时间。第四个技巧如果GPU集群里某台机器“gpu cpu 内存占用都不高但卡”先别怀疑硬件去检查是不是NCCL在等某个节点。用NCCL_DEBUGINFO跑一下看日志里卡在哪一步。常见的是网络不通或者防火墙挡了NCCL的端口。第五个技巧CUDA多版本共存时nvcc的版本切换用update-alternatives更规范sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-11.8 118 sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-12.4 124 sudo update-alternatives --config cuda这样切换版本不用改环境变量系统级生效。6. 从单卡到集群环境部署的扩展思路单卡环境跑通后往集群扩展时有几个点要注意。第一是驱动和CUDA版本要统一集群里所有节点的驱动版本最好一致否则NCCL通信可能出问题。第二是CUDA的安装路径要一致比如都用/usr/local/cuda-12.4这样编译出来的程序在哪个节点都能跑。第三是环境变量要统一可以用/etc/profile.d/cuda.sh这种系统级脚本而不是每个用户的~/.bashrc。K8s与GPU安装教程这个搜索词说明有人想在K8s里跑GPU任务。K8s里用GPU需要装NVIDIA Device Plugin它会把GPU资源暴露给K8s调度器。装完plugin后Pod里就能用nvidia.com/gpu: 1这种资源声明。但要注意K8s里的CUDA版本取决于容器镜像不是宿主机。所以你可以用不同CUDA版本的镜像跑不同任务只要宿主机驱动支持就行。GPU租用场景下你拿到的是别人配好的环境这时候基准测试更重要。先跑gpu-burn确认卡没问题再跑PyTorch的benchmark确认算力达标最后再跑你的实际任务。如果租用的机器上CUDA版本不对你可以用conda装一个隔离环境不动系统CUDA。最后分享一个我个人的习惯每装完一台机器我会把驱动版本、CUDA版本、cuDNN版本、PyTorch版本、PaddlePaddle版本记在一个文本文件里放在/root/env_record.txt。下次再装同样的机器直接照着这个记录来省得重新查版本对应关系。这个习惯帮我省了很多时间也避免了“上次装好了这次装不上”的尴尬。