1. 从三个模型看生成式AI的技术底座

GPT-4、Imagen、Stable Diffusion这三个名字放在一起，很多人第一反应是"这不就是三个当红的AI模型吗"。但如果只把它们当成三个独立产品来看，就错过了最有价值的部分——它们背后共享的那套技术逻辑，才是真正值得拆解的东西。我自己从2022年开始陆续折腾Stable Diffusion的本地部署，也跟踪过Imagen的论文和GPT-4的技术报告，越往后越发现，这三个模型虽然一个做文本、一个做图像、一个做开源图像生成，但底层支撑它们的东西高度重合。

这篇文章想做的事情很明确：把这三个模型背后的技术支撑拆开来看，搞清楚它们各自依赖什么、共享什么、差异在哪。适合谁看？如果你只是想知道"怎么用Stable Diffusion画图"，网上教程一大把，这篇可能不是最直接的；但如果你想理解为什么Stable Diffusion能在消费级显卡上跑起来、为什么GPT-4的参数量传闻和实际架构对不上、为什么Imagen在文本理解上比同期模型强一截，那这篇就是给你写的。我会尽量用从业者之间聊天的口吻，把原理、选型逻辑、实操中踩过的坑都摊开讲。

先给一个整体判断：这三个模型的技术支撑可以拆成四层——架构层（Transformer、U-Net、Diffusion）、训练层（数据规模、对齐方法、分布式训练）、推理层（采样加速、量化、显存优化）、工程层（部署框架、模型格式、硬件适配）。后面几个章节就按这个顺序展开，每一层都会落到具体的参数、代码和实操细节上。

2. 架构层：三个模型各自站在什么肩膀上

2.1 GPT-4的架构支撑：Transformer的规模化延续

GPT-4没有公开完整架构，但从业内普遍接受的推断来看，它仍然是Decoder-only Transformer的延续，核心变化在于规模、训练方法和多模态能力。Transformer这个架构2017年出来的时候，核心创新是自注意力机制（Self-Attention），它解决了RNN序列建模中长距离依赖衰减的问题。用生活化的类比：RNN像一个人逐字读句子，读到后面忘了前面；Self-Attention像一个人同时看整句话，每个词都能直接和任意其他词建立联系。

GPT-4相比GPT-3的关键变化，业内讨论比较多的有几个方向。一是混合专家架构（MoE）的传闻，即模型不是每次推理都激活全部参数，而是通过路由机制只激活一部分专家网络。这个设计的好处是参数量可以做得很大，但单次推理的计算量可控。二是多模态输入，GPT-4能接受图像输入，这意味着它的架构里必然有视觉编码器和对齐模块，把图像特征映射到和文本token同一语义空间。三是训练后的对齐方法，从RLHF（基于人类反馈的强化学习）进一步演进，具体细节没有公开，但方向是让模型输出更符合人类偏好。

这里要提醒一个常见误解：很多人以为GPT-4的"技术支撑"就是"参数多"。参数多只是必要条件，不是充分条件。真正支撑它的是规模化训练配方——数据配比、学习率调度、并行策略、对齐流程，这些东西比单纯堆参数难得多。

2.2 Imagen的架构支撑：文本编码器加扩散模型

Imagen是Google 2022年发布的文本到图像模型，它的架构选择很有代表性。Imagen的核心是冻结的文本编码器 + 扩散模型。文本编码器用的是T5-XXL，这个编码器在训练图像生成部分时是冻结的，不参与更新。为什么这么设计？因为T5本身是在海量文本上预训练好的，语言理解能力已经很强，如果跟着图像生成任务一起微调，反而可能破坏它的语言能力。冻结它，让扩散模型去适配文本编码器的输出空间，效果更好。

扩散模型部分，Imagen用的是级联扩散结构：先低分辨率生成，再逐步超分到高分辨率。这个思路和后来Stable Diffusion的潜空间扩散不同，Imagen是在像素空间做的，计算量更大，但当时Google的算力撑得住。Imagen的另一个关键是Classifier-Free Guidance的缩放系数调得比较讲究，这个参数直接决定生成图像和文本提示的贴合程度。

2.3 Stable Diffusion的架构支撑：潜空间扩散加交叉注意力

Stable Diffusion（下面简称SD）的架构是这三个里最"亲民"的，因为它能在消费级显卡上跑。核心创新是潜空间扩散（Latent Diffusion）。传统扩散模型在像素空间加噪去噪，一张512x512的图有786432个像素点，计算量巨大。SD先用一个VAE编码器把图像压缩到潜空间，比如64x64x4，数据量降到原来的几十分之一，扩散过程在这个小空间里做，最后再用VAE解码器还原成像素图。这就是为什么SD能在8GB显存的显卡上跑起来。

SD的另一个关键是交叉注意力（Cross-Attention）机制。文本提示经过CLIP文本编码器变成向量序列，然后通过交叉注意力注入到U-Net的每一层。U-Net是扩散模型的主干网络，负责预测噪声。交叉注意力让文本的每个token都能影响图像生成的每个区域，这是"用文字控制图像"的技术基础。

把三个模型的架构支撑放在一起对比，会更清楚：

这张表里最值得琢磨的是"文本编码器"这一列。Imagen用T5，SD用CLIP，GPT-4用自己的Transformer。选择不同，直接影响了模型对文本的理解方式和生成效果。T5在长文本和复杂语义上更强，CLIP在图文对齐上更直接，这就是为什么Imagen在复杂提示上表现好，而SD在风格化生成上更灵活。

3. 训练层：数据、算力与对齐的三角关系

3.1 数据规模与配比：看不见的护城河

三个模型的训练数据都没有完全公开，但从论文和技术报告里能拼出大概轮廓。GPT-4的训练数据量级在万亿token以上，涵盖网页、书籍、代码、对话等多种来源。Imagen用的是内部图文对数据集，规模在数十亿级别，而且做了严格的过滤和去重。SD的训练数据主要是LAION-5B的一个子集，LAION是从公开网页抓取的图文对，规模大但噪声也大。

这里有个从业者都懂但外行容易忽略的点：数据配比比数据量更重要。同样是一万亿token，代码占10%还是占30%，训练出来的模型在推理能力上差别很大。GPT-4在代码和数学上的表现明显强于前代，业内普遍认为和训练数据中代码比例提高有关。SD这边，LAION数据集的噪声问题导致早期版本在生成人脸和手部时经常出问题，后来通过数据清洗和微调才改善。

实操提示：如果你自己要做微调，数据配比的原则是"目标能力占大头，通用能力保底"。比如你想让模型擅长画某种风格，那这种风格的图文对要占训练集的60%以上，但也要保留20%到30%的通用数据，防止模型过拟合到单一风格后丧失泛化能力。

3.2 分布式训练：把大模型塞进集群

训练GPT-4这个量级的模型，单卡是不可能的，必须做分布式训练。主流的并行策略有三种：数据并行、张量并行、流水线并行。数据并行是把不同batch分到不同卡上，每张卡算完梯度后同步；张量并行是把单个矩阵乘法拆到多张卡上；流水线并行是把模型的不同层分到不同卡上，像流水线一样传递。

实际训练中这三种策略是混合使用的，叫3D并行。GPT-4的训练据推测用了数千张加速卡，通过高速互联组成集群。这里的关键瓶颈不是算力，而是通信带宽。张量并行和流水线并行都需要卡间频繁通信，如果带宽不够，卡再多也是浪费。

SD的训练相对轻量，因为潜空间扩散的计算量小很多。Stable Diffusion 1.5的训练用了256张A100，训练时间大约15万GPU小时。这个量级对于研究机构来说是可承受的，这也是SD能开源的原因之一——训练成本没有高到只有巨头玩得起。

3.3 对齐方法：从RLHF到更精细的偏好优化

GPT-4的对齐方法没有完全公开，但方向是明确的：基于人类反馈的强化学习（RLHF）及其改进版本。RLHF的流程分三步：第一步是监督微调，用人工标注的高质量回答训练模型；第二步是训练奖励模型，让模型学会判断哪个回答更好；第三步是用强化学习优化模型，让它生成奖励模型打分高的回答。

Imagen和SD这边，对齐的概念不太一样。图像生成模型的"对齐"更多是提示跟随（Prompt Following）——生成的图像要和文本提示一致。Imagen用了动态阈值和噪声调度等技巧来提升提示跟随能力。SD则通过Classifier-Free Guidance的缩放系数来控制，系数越高，生成图像越贴合提示，但过高会导致图像过饱和、细节失真。

实操心得：SD的CFG Scale（Classifier-Free Guidance Scale）默认是7.5，这个值在大多数情况下是平衡点。如果你发现生成的图像和提示差太远，可以调到9到12；如果发现图像颜色过艳、边缘有光晕，就降到5到7。这个参数没有绝对最优值，取决于模型和提示词。

4. 推理层：从论文到能跑起来的距离

4.1 采样加速：为什么SD出图只要几秒

扩散模型的原始采样过程需要上千步去噪，每步都要跑一次U-Net，速度极慢。SD能几秒出图，靠的是采样器优化。常见的采样器有DDIM、Euler、DPM++等，它们通过数学方法减少需要的步数。DDIM可以把1000步压缩到50步左右，DPM++ 2M Karras在20到30步就能出不错的效果。

不同采样器的特点不一样。Euler系列速度快但细节略糙，DPM++系列质量高但稍慢，DDIM兼容性好但需要步数多。我自己的习惯是：快速预览用Euler a，12步左右；正式出图用DPM++ 2M Karras，25到30步。这个组合在速度和质量的平衡上比较稳。

4.2 显存优化：8GB显卡怎么跑SD

SD的显存占用主要来自三块：U-Net、VAE、文本编码器。FP16精度下，SD 1.5的U-Net大约1.7GB，VAE约160MB，文本编码器约250MB，加上中间激活值，总共4GB左右。但如果你用SDXL或者高分辨率生成，显存需求会翻倍。

显存不够时的优化手段有几个。半精度（FP16）是最基本的，把模型权重从FP32降到FP16，显存减半。注意力切片（Attention Slicing）是把注意力计算分块进行，用时间换空间。VAE切片类似，把VAE解码分块做。模型卸载是把暂时不用的模块移到内存，需要时再加载。这些选项在主流SD WebUI里都有开关，勾上就能用。

注意：注意力切片和VAE切片会降低生成速度，大概慢20%到40%。如果你的显存够用，不要开这些选项。判断标准是：生成过程中如果显存占用接近上限但没爆，就不用开；如果直接报OOM（显存不足），再开。

4.3 模型格式与量化：safetensors和ckpt的区别

SD模型常见的格式有ckpt和safetensors。ckpt是PyTorch的序列化格式，用pickle存储，理论上可以执行任意代码，有安全风险。safetensors是Hugging Face推出的格式，只存储张量数据，不执行代码，加载更快也更安全。现在新模型基本都用safetensors，如果你下载到ckpt格式的模型，建议先转成safetensors再用。

量化方面，SD模型有FP32、FP16、BF16几种精度。FP16是默认选择，质量和速度平衡最好。BF16在数值范围上比FP16大，训练时更稳定，但推理时速度差不多。INT8量化能把模型压到原来的一半，但质量损失明显，除非显存实在不够，否则不推荐。

5. 工程层：部署、热词与常见问题

5.1 部署框架选型：WebUI还是ComfyUI

SD的部署框架主要有两个流派：AUTOMATIC1111 WebUI和ComfyUI。WebUI上手简单，界面直观，适合新手和快速出图。ComfyUI是节点式工作流，灵活度高，适合复杂流程和批量处理，但学习曲线陡。

选哪个取决于你的需求。如果你只是偶尔画图，WebUI够了。如果你想做工作流自动化，比如批量生成不同参数的图、做图生图加ControlNet的复杂管线，ComfyUI更合适。我自己的配置是两个都装，WebUI用来快速试提示词，ComfyUI用来跑正式的生产流程。

5.2 Mac版SD启动报错：ImportError: dlopen的排查

热词里提到的"mac版stable diffusion无法启动importerror: dlopen"是个很典型的问题。这个报错的意思是动态链接库加载失败，通常发生在Mac的M系列芯片上。原因一般是依赖库架构不匹配——你装的某个Python包是x86架构的，但你的Python环境是arm64架构，或者反过来。

排查步骤是这样的。第一步，确认Python架构：在终端跑python -c "import platform; print(platform.machine())"，M系列芯片应该输出arm64。第二步，确认报错的具体库名，dlopen后面通常会跟一个路径，看是哪个库加载失败。第三步，如果是某个包的问题，用pip uninstall卸载后重新安装arm64版本。第四步，如果问题出在PyTorch，去PyTorch官网找对应Mac arm64的安装命令，不要直接用pip install torch。

实操心得：Mac上跑SD，建议用conda建独立环境，Python版本选3.10，这个版本和大多数SD依赖的兼容性最好。另外，Mac的MPS后端（Metal Performance Shaders）虽然能用，但有些算子不支持，遇到报错可以试试加--no-half参数，强制用FP32跑，速度慢但兼容性好。

5.3 模型下载与存放：路径和命名规范

SD模型文件通常放在models/Stable-diffusion目录下，VAE放在models/VAE，LoRA放在models/Lora。命名建议用"模型名_版本_精度"的格式，比如sd15_v1-5_fp16.safetensors，这样一眼能看出是什么模型。不要用中文名和空格，有些框架对中文路径支持不好，空格在某些脚本里会被截断。

模型来源方面，Civitai和Hugging Face是主要渠道。下载时注意看模型的基座版本，SD 1.5的模型不能直接用在SDXL上，反之亦然。LoRA和ControlNet也有版本对应，用错了会报错或者效果异常。

5.4 常见问题速查表

这张表里的问题我基本都遇到过。最坑的一次是VAE不匹配导致生成全黑图，排查了半天以为是模型坏了，后来换了个VAE就好了。所以遇到问题先别急着删模型，按表里的顺序排查一遍，大部分都能解决。

6. 三个模型的技术支撑给从业者的启示

把GPT-4、Imagen、Stable Diffusion的技术支撑拆完，有几个判断我觉得值得分享。第一，架构创新在放缓，工程优化在加速。Transformer和Diffusion都是几年前的东西，但这三个模型能出来，靠的是训练配方、推理优化、工程部署的进步。第二，开源和闭源的技术差距在缩小，但工程差距还在。SD的开源让很多人能跑起来，但要把SD调到GPT-4级别的可用性，中间的工程投入是巨大的。第三，文本编码器的选择比想象中重要。Imagen用T5、SD用CLIP，直接决定了两者在复杂提示上的表现差异。

如果你是想入门的从业者，我的建议是先把SD的推理流程跑通，理解潜空间扩散和交叉注意力的原理，然后再去看Imagen和GPT-4的论文，会发现很多概念是相通的。如果你是想做应用的，重点放在工程层——部署框架、显存优化、模型格式这些，这些才是决定你能不能把demo变成产品的关键。

最后分享一个我自己的习惯：每次遇到新模型，先不看论文，直接下载跑一遍，感受一下它的输入输出和速度，然后再回去看论文里的架构图，这时候理解会深很多。技术支撑这东西，光看文字是看不明白的，跑起来才有感觉。