【AI Infra小白入门⑫】GPU显卡选型与租买决策完全指南：从学习到训练到推理
本文是「AI Infra 小白入门」系列的第十二篇，也是第一章的收官之作。前面我们讲了GPU的硬件原理，这篇来解决最实际的问题：手里有一个任务，到底该选什么卡？租还是买？从入门学习到生产部署，一篇文章给你讲明白。
一、写在前面：选卡的本质还是取舍
选GPU卡，听起来是个"查参数"的事，但实际上——它还是不可能三角的应用。
选卡时你要在这几个维度之间做取舍：
- 算力（能不能跑得快）
- 显存容量（能不能装得下）
- 显存带宽（推理速度的关键）
- 互联能力（多卡能不能高效通信）
- 预算（钱够不够）
先想清楚你的瓶颈在哪，再去选卡。
比如：
- 做训练 → 算力优先
- 做推理 → 带宽和显存优先
- 多卡分布式 → 互联优先
- 学生学习 → 预算优先
二、NVIDIA显卡的三条产品线
NVIDIA的AI相关显卡，主要分三条线：
| 产品线 | 代表型号 | 特点 | 谁在用 |
|---|---|---|---|
| 数据中心计算卡 | V100 → A100 → H100/H200 → B200 | HBM显存、NVLink、ECC、MIG，为训练和多卡集群而生 | 云厂商、大厂、科研机构 |
| 消费级显卡（GeForce） | RTX 3090 → 4090 → 5090 | 性价比之王，但显存小（24-32G）、多卡无NVLink | 个人开发者、小团队 |
| 专业/工作站卡 | L4 / L20 / L40S、RTX 6000 Ada | 单槽/低功耗形态，介于两者之间 | 推理服务器、工作站 |
命名速记
数据中心卡的命名规律：字母 = 架构代际，数字 = 档位
- V= Volta（伏打，2017年）
- A= Ampere（安培，2020年）
- H= Hopper（霍珀，2022年）
- B= Blackwell（布莱克威尔，2024年）
消费级的30/40/50系也大致对应Ampere / Ada Lovelace / Blackwell架构。
特别提醒：国内特供版
因为出口管制，国内能买到的有些型号是"特供版"——阉割了某些性能：
| 特供型号 | 原版 | 阉割了什么 |
|---|---|---|
| A800 | A100 | NVLink从600降到400 GB/s（算力不变） |
| H800 | H100 | NVLink从900降到400 GB/s（算力不变） |
| H20 | H100降规 | 算力砍到约148 TFLOPS FP16，但保留96G显存 + 高带宽 + NVLink |
| L20 | L40S降规 | 算力砍到约120 TFLOPS FP16 |
| 4090D / 5090D | 4090 / 5090 | 核心规模和AI算力小幅削减 |
规律：早期阉互联（A800/H800），后期阉算力（H20/L20/5090D）。
其中H20特别值得关注——它是典型的"大带宽、低算力"推理特化卡。对于LLM推理这种memory-bound的场景，H20反而很有性价比。
三、主流显卡规格对比：关键数据一目了然
数据中心卡
| 卡 | 架构 | 显存 | 带宽 | FP16算力 | FP8 | NVLink | 功耗 | 定位 |
|---|---|---|---|---|---|---|---|---|
| V100 32G | Volta | 32G HBM2 | 0.9 TB/s | 125 TF | - | 300 GB/s | 300W | 退役老将，捡漏学习 |
| A100 80G | Ampere | 80G HBM2e | 2.0 TB/s | 312 TF | - | 600 GB/s | 400W | 上一代训练主力 |
| H100 80G | Hopper | 80G HBM3 | 3.35 TB/s | 989 TF | 1979 TF | 900 GB/s | 700W | 旗舰训练/推理 |
| H20 96G | Hopper | 96G HBM3 | 4.0 TB/s | 148 TF | 296 TF | 900 GB/s | 400W | 推理特化（大带宽低算力） |
| H200 141G | Hopper | 141G HBM3e | 4.8 TB/s | 989 TF | 1979 TF | 900 GB/s | 700W | 大模型推理优选 |
| B200 192G | Blackwell | 192G HBM3e | 8 TB/s | 2.25 PF | 4.5 PF | 1.8 TB/s | 1000W | 当代旗舰 |
| L4 24G | Ada | 24G GDDR6 | 300 GB/s | 121 TF | 242 TF | 无 | 72W | 单槽低功耗推理 |
| L40S 48G | Ada | 48G GDDR6 | 864 GB/s | 362 TF | 733 TF | 无 | 350W | 全能工作站卡 |
消费级卡
| 卡 | 架构 | 显存 | 带宽 | FP16算力 | FP8 | NVLink | 功耗 | 定位 |
|---|---|---|---|---|---|---|---|---|
| RTX 3090 | Ampere | 24G GDDR6X | 936 GB/s | 142 TF | - | 双卡112 GB/s | 350W | 二手性价比之王 |
| RTX 4090 / 4090D | Ada | 24G GDDR6X | 1008 GB/s | 165 TF | 330 TF | 无 | 450/425W | 个人/小团队主力 |
| RTX 5090 / 5090D | Blackwell | 32G GDDR7 | 1792 GB/s | ~419 TF | ~838 TF | 无 | 575W | 当代消费旗舰 |
从表中读出的四个关键结论
显存决定"能不能跑"，带宽决定"跑多快"
- LLM decode是memory-bound（前面讲过），同代卡的推理速度大致与带宽成正比
消费卡的短板是显存和互联
- 24-32G的显存天花板
- 没有NVLink，多卡只能走PCIe（~64 GB/s）——无法高效做TP
H20/H200是推理性价比之选
- 训练要算力，必须H100/B200级别
- 推理只要带宽够大、显存够大就行——H20刚好命中这个需求
代际跃迁点
- Hopper（H100）引入FP8
- Blackwell（B200）引入FP4
- 量化推理的收益，和硬件代际强相关
四、整机搭配：买卡不是全部
很多人以为买GPU就是买一张卡——错！卡只是预算的一部分，整机搭配不当，卡的性能发挥不出来，等于白买。
| 部件 | 经验法则 | 说明 |
|---|---|---|
| 内存 | ≥ 1.5–2 × 总显存 | 数据加载、checkpoint落盘缓冲、CPU offload都吃内存。比如8×80G显存 → ≥1TB DDR5 |
| 硬盘 | 系统1TB NVMe + 数据2-4TB NVMe | 大模型checkpoint动辄几百GB，SATA盘会拖垮IO |
| CPU/PCIe | 多卡先看PCIe通道数 | 消费平台（i9/R9）只有~24条通道，双卡就是x8+x8，4卡以上必须线程撕裂者或EPYC |
| 电源 | 单卡≥850W；4×4090≥2000W | 4090/5090瞬时尖峰可达TDP的2倍；2000W需要16A电路 |
| 散热 | 多卡选涡轮版 | 开放式风扇卡并排放会互相加热降频；涡轮卡把热直排机箱外 |
| 形态 | SXM卡≠能插普通服务器 | H100 SXM必须配HGX底板整机；个人/小团队只能买PCIe版 |
💡小白避坑：别光盯着卡的价格算预算，整机其他部件还要花30%-60%的钱！
五、按场景选型：你的情况适合什么卡？
显存需求速算公式
先算清楚你需要多少显存（P = 模型参数量，单位B）：
| 任务 | 显存 ≈ | 例子（7B / 70B） |
|---|---|---|
| 推理 FP16/BF16 | 2×P × 1.3（权重+KV+激活） | 7B≈18G / 70B≈180G |
| 推理 INT8 | 1×P × 1.3 | 7B≈9G / 70B≈90G |
| 推理 INT4 | 0.5×P × 1.3 | 7B≈5G / 70B≈45G |
| LoRA微调 | ~2.5×P | 7B≈18G / 70B≈175G |
| 全参微调（AdamW混合精度） | ~16×P | 7B≈112G / 70B≈1.1TB |
注：全参微调可以用ZeRO/FSDP把优化器状态分摊到多卡，上表是"总显存池"需求。
场景推荐
| 场景 | 推荐配置 | 理由 |
|---|---|---|
| 入门学习 / 跑课程代码 | 二手3090 24G 或 租4090 | 最便宜的真卡环境，24G够跑所有实验 |
| 7B-13B推理 + LoRA微调（个人） | 4090 24G / 5090 32G | 单卡全覆盖，5090的32G + 1.8TB/s更从容 |
| 7B-13B全参微调 | 4×A100-80G 或 2×H100 | 需要~112G+显存池，消费卡多卡无NVLink效率低 |
| 70B推理（INT4） | 单卡H20 96G / 双卡4090 | 45G+显存，带宽越大decode越快 |
| 70B推理（FP16生产级） | 2×H100 / H200 或 4×A100 | 180G+显存 + 高带宽 + NVLink TP |
| 高并发LLM推理服务 | H20集群 或 H200 | H20大带宽低算力恰好匹配decode的memory-bound |
| 70B+预训练 | H100/H800 × 数百卡 + IB网络 | 算力与互联缺一不可，这是集群工程 |
| 边缘部署/车载 | Jetson Orin系列 | 功耗15-60W，统一内存 |
| 预算极低纯学习 | 云租T4/L4按小时 | 几毛钱一小时，别买卡 |
一句话决策树
任务是什么？ ├─ 学习/实验（<7B）──────────────→ 3090/4090，租优先 ├─ 推理 │ ├─ 模型能塞进单卡（INT4后 ≤ 显存）→ 选"带宽/显存比"最高的：5090 / H20 / H200 │ └─ 塞不进单卡 → H100/H200 多卡TP（要NVLink，别用消费卡堆） ├─ 微调 │ ├─ LoRA → 按"2.5×P"选显存，4090/5090通常够 │ └─ 全参 → 按"16×P"算总显存池 → A100/H100 多卡，消费卡止步 └─ 预训练 → 别买单卡，谈集群（H100/H800 + IB）六、租 vs 买：怎么算账最划算？
价格量级参考
时租参考（2025年国内市场，仅供估算）：
| 卡 | 时租（¥/小时） |
|---|---|
| 4090 24G | 1.5 – 2.5 |
| A100 80G | 5 – 8 |
| H800 80G | 12 – 18 |
单卡购买参考价（量级，差异极大）：
| 卡 | 参考价（¥） |
|---|---|
| RTX 3090 24G | 0.6 – 0.8 万（仅二手） |
| RTX 4090D 24G | 1.3 – 1.5 万 |
| RTX 5090D 32G | 1.7 – 2.2 万 |
| A100 80G | 7 – 10 万（二手/拆机为主） |
| H20 96G | 10 – 13 万 |
| H800 80G | 20 – 25 万 |
回本周期怎么算
回本周期（天） = 购卡总成本 ÷（时租价 × 日均使用小时数）举个例子（4090）：
- 买：单卡整机 ≈ ¥2.8 万
- 租：¥2/小时
- 每天用8小时：回本周期 = 28000 ÷ (2 × 8) = 1750天 ≈ 4.8年
- 每天用20小时（推理服务）：回本周期 = 700天 ≈ 1.9年
决策结论
- 日均使用 < 6小时（利用率 < 25%）→ 租
- 个人学习、突击项目、论文复现——租更划算
- 长期7×24高负载（利用率 > 60%）→ 买或自建
- 推理服务、持续预训练——买更划算
- 别忘了隐性成本
- 整机其他部件（CPU、内存、电源…）≈ 卡价的30%-60%
- 电费（一张4090满载一年约¥3000+）
- 散热、噪音、场地
- 代际折旧（2-3年新一代出来，旧卡贬值很快）
买卡避坑清单
- 二手矿卡/训练卡：3090大量来自矿场和7×24训练机房，到手一定要测——看通电时间、跑显存压力测试
- 4090 48G魔改卡：拆显存重焊的"扩容卡"，无保修、稳定性差，生产环境绝对不要用
- SXM卡单买没用：H100 SXM没有HGX底板就是一块砖头——别贪便宜买了用不了
- 合规与时效：4090/5090、H100/B200对华限售，渠道货价格波动大且有风险
七、一页纸总结
| 你的情况 | 建议 |
|---|---|
| 学生/转行者，跑课程与面试项目 | 租4090（¥2/h），重度用户买二手3090 |
| 个人开发者做7-13B应用 | 5090 32G（预算足）或4090 24G |
| 小团队推理服务（70B级） | 租H20/H200，验证收入后再买 |
| 训练需求（全参微调/预训练） | 租A100/H100多卡；自建只在长期高负载时划算 |
| 任何场景 | 先算显存需求，再按"带宽优先（推理）/算力优先（训练）"挑卡 |
八、第一章收官：我们学到了什么
到这里，「全景认知与前置基础」这一章就全部讲完了。我们来回顾一下：
全景认知（1.1-1.4）：
- 什么是AI Infra：连接算法和硬件的中间层，五大方向分工协作
- 不可能三角：计算、通信、显存——所有优化都是取舍
- 大厂组织架构：不同公司的技术侧重点不同
- 岗位路线图：初级→中级→高级，薪资和能力要求逐级提升
- 学习路线图：前置基础→CUDA/算子→分布式训练→推理部署→项目实战
前置基础（1.5-1.12）：
- 编程语言：Python（上层胶水）+ C++（性能关键）+ Linux（环境基础）
- 数学基础：线代（矩阵乘法+FLOPs）、概率（Softmax+交叉熵）、微积分（链式法则）
- Transformer架构：Attention的O(N²)复杂度、FFN的参数量、KV Cache的演进
- PyTorch框架：Tensor、autograd、Module、profiler、checkpoint
- GPU硬件：SM、Tensor Core、存储层次、Memory Wall、Roofline模型
- 集合通信：AllReduce、Ring/Tree算法、NCCL、NVLink vs IB
- 工具链：gdb、perf、nsys、ncu——从全局到局部的调试思路
- GPU选型：按场景选卡、租vs买的决策方法
这些内容，就是AI Infra的"地基"。地基打牢了，后面的高楼才能盖得稳。
下一章预告：我们将进入CUDA编程与HPC高性能计算——从CUDA编程体系开始，一步步深入GPU内核编程的世界。这是AI Infra工程师的"硬功夫"，准备好了吗？
📚本系列导航（第一章·完）：
- 第1篇：一文搞懂什么是AI基础设施：五大方向与不可能三角
- 第2篇：大厂AI Infra组织架构大揭秘
- 第3篇：AI Infra岗位路线图：级别、薪资与成长路径
- 第4篇：AI Infra学习路线图：从入门到精通的完整指南
- 第5篇：AI Infra必备编程基础：Python、C++与Linux速通指南
- 第6篇：AI Infra数学基础速成：线代、概率与微积分（工程向）
- 第7篇：Transformer架构工程拆解：从Attention到MLA的优化密码
- 第8篇：PyTorch框架Infra实战指南：Tensor、autograd与性能调试
- 第9篇：GPU硬件概论：从SM到Memory Wall，搞懂优化的物理基础
- 第10篇：集合通信基础：AllReduce、Ring算法与NCCL全解析
- 第11篇：AI Infra工具链指南：性能分析与调试工具一网打尽
- 第12篇：GPU显卡选型与租买决策完全指南（本文）