大模型的发展史,本质上是一段关于“如何让机器理解并生成人类语言”的漫长探索。最近我在整理学习笔记,把大模型LLM这条线从头到尾又过了一遍,从n-gram到Transformer再到GPT、ChatGPT、多模态和Agent,越梳理越觉得这条路径不是偶然,每一步都是此前的限制逼出来的。这篇笔记不是为了考古,而是想帮你理解今天大模型能做这些事,到底是怎么一步步走到这里的。无论是开始学习大模型、做应用开发,还是想在团队里讲清楚技术背景,这份脉络应该都能用得上。
1. 从统计语言模型到神经网络:大模型的序幕
1.1 n-gram语言模型:旧时代的“概率直觉”
语言模型的本质是:给定前面一串词,预测下一个最可能出现的词是什么。自动补全、分词、语音识别都要靠这个能力。早期最典型的方法是n-gram,它的核心假设非常朴素:当前词只跟它前面n-1个词有关。比如bigram只看前一个词,trigram看前两个词,本质上是在做马尔可夫假设。这套方法在语料规模不大、语言足够规范的时候是能用的,机器翻译的候选排序、拼写纠错都靠它撑过了一段时期。
但n-gram的瓶颈特别明显。第一是稀疏性问题:语料里一定会出现大量“上下文相同但下一个词没见过”的组合,概率直接变成0,只能靠Katz回退、Good-Turing这类平滑技巧硬凑,本质是把低阶统计量拿来补高阶缺失。第二是上下文太短:人的语言是递归且存在长距离依赖的,比如“小张昨天在会议上说要辞职,大家都不相信”里的“不相信”,指代的是“辞职”这件事,光靠前两三个词根本推不出来。n-gram没有真正的语义概念,只会把句子切成一连串局部片段的频率统计。
我在笔记里给n-gram画过一个很直白的类比:它像一个只用路边最近三块路标判断方向的人,一旦走过长隧道,就会完全失去定位。这个困境困扰了自然语言处理很久。直到有人开始换一个问题:能不能让机器自己学到“含义”,而不只是词序概率?这就把方向指向了分布式表示和神经网络。
1.2 词向量与神经概率语言模型:语义终于有了形状
2003年,Bengio等人提出了第一个有里程碑意义的神经概率语言模型NNLM。它的做法很清晰:给每个词学一个低维向量,这个向量连同前面几个词的向量一起输入神经网络,网络再输出下一个词的概率分布。这里最关键的不是神经网络本身,而是“词向量”可以同步学习:语义相近的词在向量空间里会靠在一起,模型也因此能泛化到没见过的新组合。
2013年,Mikolov等人的word2vec把这件事推向了工程化。通过CBOW和Skip-gram两个结构,加上负采样、层次Softmax这些训练技巧,word2vec可以在上亿词的语料上训练词向量。经典的例子是“king - man + woman ≈ queen”,说明向量里已经包含某种关系结构。虽然word2vec只是静态词向量工具,没有上下文建模能力,但学术界第一次直观感受到“语义可以被编码成向量”是能落地的。
从NNLM到word2vec,这条线的价值不只是性能提升。它确立了分布式表示的基本思路:每个词不再是一个独立的ID,而是一组可学习的连续特征,不同词之间可以共享统计信息。也正是这个思路,为后面动辄千亿参数的大模型LLM提供了理论底座。所以在我的学习笔记里,这一节被标成“大模型的序幕”:没有词向量这一步,后面根本无从谈起。
2. Transformer、预训练与“大模型”的真正起点
2.1 Attention Is All You Need:为什么说它改变了比赛规则
2017年,Google发表《Attention Is All You Need》,提出Transformer。这篇论文的标题就是立场:原有的循环和卷积结构都可以不要,光靠注意力机制就能写好序列建模。Transformer的核心组件是自注意力Self-Attention。每个token通过三个可学习矩阵映射出Query、Key、Value,然后用Query和Key计算相似度作为权重,对Value加权求和。直觉上,它让序列中任意两个token都能直接交互,如果模型发现“它”和“会议”相关,这两个位置之间就会形成一条高权重的注意路径。
Transformer能成为大模型的起点,有三个关键优势。第一是并行化。RNN必须按时间步一步步计算,GPU并行度拉不满,想训练超大规模模型几乎不受时间约束;Transformer把整段序列当成矩阵运算,训练速度有数量级提升。第二是长距离依赖。RNN的信息要沿着时间步一步一步传递,梯度容易消失;自注意力让任意两个token之间只有一次运算,远距离信息可以直接被捕捉。第三是位置编码。因为Transformer本身没有顺序概念,需要显式给每个token注入位置信息,于是有了绝对位置编码、相对位置编码,后来发展成RoPE、ALiBi这类改进方案。
这里我在笔记里特意记了一句话:Transformer解决的不是某个具体任务,而是“大规模并行计算长序列”的能力瓶颈。它让“预训练模型动辄千亿参数”这件事变成现实,而不是靠简单堆网络层数就能做到的。
2.2 预训练+微调:BERT、GPT与T5的三种选择
Transformer提出之后,2018到2019年进入预训练语言模型爆发期。核心范式是:先用海量无标注文本预训练,让模型自动学会语言规律;再根据具体任务微调。BERT来自Google,用的是Transformer的Encoder层,预训练任务包括掩码语言模型MLM(随机遮住一些词,模型通过上下文预测被遮住的词)和下一句话预测NSP。这种双向建模对“理解类”任务非常友好,像文本分类、实体识别、阅读理解等。
OpenAI的GPT走的是另一个方向,用Transformer的Decoder层做自回归语言建模,训练目标就是纯粹预测下一个词。这样做的好处是模型天生适合生成,坏处是早期版本在句子级理解任务上略吃亏。T5则把所有NLP任务统一成“文本到文本”的输入输出格式,用Span Corruption做预训练,显得更通用。这三种结构在今天看来已经分出高下:复杂理解任务BERT派生模型仍然有位置,通用生成任务基本被decoder-only路线垄断。
给没接触过的人一个简单对比表,这是我笔记里的:
| 模型 | 结构 | 预训练任务 | 强项 | 主要短板 |
|---|---|---|---|---|
| BERT | Encoder | MLM + NSP | 双向理解能力强 | 生成能力弱 |
| GPT | Decoder | Autoregressive LM | 自回归生成 | 早期理解类任务略弱 |
| T5 | Encoder-Decoder | Span Corruption | 任务统一灵活 | 参数规模偏大 |
这张表能帮你快速定位:你手上的NLP问题是理解型还是生成型,会直接影响你更倾向哪条路线。
2.3 为什么最终是decoder-only成为主流
我当年学到这一步时很困惑:为什么后来几乎所有大模型都选了GPT那种decoder-only结构,而不是BERT或者T5?整理笔记时我把原因归纳成三点。第一是生成任务统一。现在大模型最核心的使用方式是对话和生成,自回归结构天然适合从左到右逐个生成token,训练目标和推理目标一致,不容易出现“训练时很厉害、推理时不对劲”的割裂问题。第二是扩展性好。decoder-only只有一组Transformer层,去掉encoder以后整体结构简单,训练并行和推理缓存都更统一,大规模分布式训练时便利性很强。第三是涌现能力。后来的Scaling Law证明,只要数据和参数堆到一定规模,decoder-only模型会在指令遵循、思维链等任务上出现小模型没有的能力,这种非线性跃迁让单一的生成式路线回报更清晰。
当然这也不意味着encoder路线没有用。检索模型、句子嵌入、一些代码模型仍然会用到编码器或encoder-decoder结构,只是就“大模型”这个意义上的通用底座而言,decoder-only成了默认答案。这一段我标了重点:选择结构本质上是选择能力形态,你能接受哪种优化复杂度,决定了你最后能走到哪一步。
3. 生成式大模型崛起:从GPT到ChatGPT再到多模态
3.1 Scaling Law:规模带来的“涌现”
GPT-1在2018年首次验证了大规模预训练在自然语言任务上的可行性,GPT-2在2019年把参数推到15亿,展示出“即使不微调,也能在不少任务上表现不错”。到2020年GPT-3直接把规模拉到1750亿参数,效果出现一次明显的跃迁:只要在Prompt里给几个例子,模型就能照猫画虎完成新任务,业内叫Few-Shot Learning。这个冲击在于,原来模型能力可以靠“堆量”直接换出来。
2020年前后,OpenAI与Google的研究者陆续总结出神经语言模型的Scaling Law:模型损失大致随参数量、数据量、计算量呈幂律下降。换句话说,在一定范围内,参数翻倍、数据翻倍、算力翻倍,效果是稳定变好的,而不是很快饱和。这条经验对产业的影响非常深远——它意味着训练大模型不再是“富贵险中求”,而是一条可以被预算规划、被预期管理的工程道路。
但这里必须强调一句:Scaling Law不是万能的,它把“能力增长”和“数据、参数、算力”绑定起来,数据质量、模型结构、训练策略同样重要。我学习里看过的失败案例,往往不是模型太小,而是数据太脏或者训练过程不稳定。规模只是放大器,不是净化器。
3.2 RLHF与指令微调:把模型“调教”成助手
GPT-3虽然强大,但直接用的时候问题很多:它会顺着用户的话瞎编、生成冗长无意义的回答、容易被带偏。2022年OpenAI发表InstructGPT论文,提出一条对齐路线:先收集人工写好的问答对做有监督微调SFT,再让标注员对多个模型回答排序打分,训练一个奖励模型Reward Model,最后用强化学习算法让语言模型学会“讨好”奖励模型。这一步在技术上并不复杂,效果却极其惊人:人工评估无论是帮助性还是真实性,InstructGPT都远胜原版GPT-3,而且参数还更少。
ChatGPT在2022年11月上线,本质上就是把InstructGPT这套流程产品化,再套上一层聊天界面。它让大模型从“一个能写代码和文章的API”变成了“每个人都能对话的智能助手”。我在笔记里给RLHF写的注释是:它满足的不再是语言模型的概率需求,而是人类使用者的意图需求。模型不再只回答“最可能的词”,而是回答“最合适且最符合人类期待的词”。
这条路线后来引发的争议也值得记一笔:奖励模型是把人类偏好压缩成一个标量,容易出现过度讨好、说套话的倾向,所以后续研究开始引入Constitutional AI、DPO这类替代或补充方案。对齐问题到今天仍然是活跃且难啃的研究方向。
3.3 开源模型与多模态:产业的分水岭
2023年开始,开源社区发生变化。Meta放出LLaMA,紧接着Falcon、Mistral、Alpaca、Qwen、DeepSeek等一批高质量开源模型密集出现,把“能做对话、参数够大”的底价拉到普通人和中型团队也能触及的位置。开源模型配合LoRA微调、本地推理工具,让“用自己数据训练专属模型”从口号变成日常操作。这对企业做私有化部署特别重要:数据不出域,模型在本地跑,权限和安全边界相对可控。
与此同时,大模型从纯文本走向多模态。CLIP证明了图文对齐可以用对比学习完成,LLaVA展示了视觉编码器加语言模型这种简单组合也能产生很强的多模态理解能力,GPT-4V、Gemini等则把图片、视频、音频统一进一个模型。多模态带来的不只是“能看图”,而是模型对世界的感知更完整:给一张流程图直接生成代码,给一张截图直接分析页面问题,这些都变成实际可用的场景。
我自己的判断是,2023年之后大模型的重点不再是结构创新,而是三件事同时推进:扩大上下文、增强工具调用能力、提升对齐可靠性。模型之间的差距越来越体现在数据质量和工程落地上,特别是企业场景,怎么把模型接进现有流程才是真正的难点。
4. 大模型能力扩展:上下文、外挂知识与高效微调
4.1 长上下文:窗口越大不代表什么都能记住
早期Transformer上下文长度只有512个token,GPT-3是2048,后来很多模型做到8K、32K,再后来的部分模型已经支持128K甚至百万级token。支撑这个变化的不仅是显存变大,更关键的是注意力机制改进和长文本数据构造:绝对位置编码逐步被RoPE这类相对位置编码取代,注意力计算也出现了滑动窗口、稀疏注意力、线性复杂度等变体。
但长上下文有一个非常反直觉的现象:模型“看到过”不等于“记得住”。业界用“大海捞针”测试发现,即使模型支持128K上下文,把一句事实埋在文档中段,模型照样可能答错。我自己的实践也类似:把几十万字合同直接扔给模型,它更容易在开头和结尾找线索,中间部分经常被忽略。背后是注意力分布不均衡和训练数据里长文本比例不足共同造成的。
所以工程上更靠谱的思路不是无限拉长窗口,而是把有效信息提前筛选。这也是RAG能火起来的原因:不要给模型全部资料,只喂它最相关的几段,效果往往比“全塞进去”更稳定,成本也低得多。长上下文适合做全局理解,检索增强更适合做精准问答。
4.2 RAG:用外挂知识弥补参数记忆
检索增强生成RAG的核心流程是:把文档切块、用向量化模型转成向量,用户提问时先在向量库里做相似度检索,把Top-K块拼进Prompt,再交给大模型生成回答。它解决的问题非常实在:大模型训练数据有截止日期,不知道企业内部知识;纯靠模型参数记忆知识又容易过时、混淆。RAG相当于给模型外接一个可随时更新的“知识U盘”。
实现一个最小可用RAG并不复杂:Embedding模型选一个,向量数据库用Chroma、Milvus或者Elasticsearch都行,最后把检索结果拼进提示词就行。但真正落地时坑很多。一个是切块策略,固定512字符切块看似简洁,却常常把语义切碎,最好按段落、标题和固定窗口混合判断。另一个是召回质量,检索不到正确答案时,再强的大模型也只能根据噪声瞎编。所以要给检索结果设相关性阈值,低质量命中就不触发增强。
RAG和大模型微调的边界我也总结过:如果知识相对静态、需要随时更新、还要来源可追溯,优先选RAG;如果希望模型在特定风格或固定任务格式上有稳定表现,微调更合适。很多团队一上来就微调,结果知识库一更新又得重训,这是最典型的跑偏。
4.3 LoRA、量化与推理优化:跑得起、用得起
训练一个几十B参数的大模型需要几十张显卡,普通团队很难承受。参数高效微调PEFT方案就是为了解决这个问题,其中最有代表性的是LoRA。它的思路是冻结原模型权重,只在注意力层旁边加一个低秩矩阵,训练时只更新这个增量。比如原始权重可能是4096维的大矩阵,你只训练64或128维的增量,训练参数量通常能降到原来的1%以下。QLoRA再进一步把基座模型用4bit量化,个人显卡也能微调7B、13B甚至更大的模型。
推理侧优化同样重要。KV Cache能缓存已经算过的Key和Value向量,避免每个新token都重算整段历史,这是推理引擎都在做的事。量化(INT8、INT4)可以把模型显存需求砍半甚至更多,虽然精度略降,但配合AWQ、GPTQ这类方法损失很小。而像投机采样、动态批量调度这些策略,主要是提升吞吐、降低单次生成成本。如果只是做Demo,随便用个推理框架拉起来就能跑;要做生产服务,建议直接用vLLM或SGLang这类专门优化过的框架,并开启连续批处理。
我踩过的一个典型坑:直接拿原始FP16模型部署到只有8G显存的卡上,显存反复爆掉,换成4bit量化后跑起来了,但生成速度依旧拉垮。琢磨了很久才发现问题不在模型本身,而是没有开启KV Cache复用和动态批处理。把这两个开关打开后,吞吐提升非常明显。所以“跑起来”和“跑得好”是两件事,后者更考验工程经验。
5. 大模型落地:从开发到部署,避坑实录
5.1 智能体与函数调用:让模型真正“干活”
对话只是大模型的显性形态,真正让它产生价值的是一个转变:从“回答问题”到“执行任务”。这个转变靠的是Function Calling机制和Agent框架。所谓Function Calling,就是模型在生成过程中输出结构化JSON而不是普通文字,外部系统解析JSON后调用工具API,再把工具结果返回给模型,形成“观察-行动-再观察”的循环。常见场景包括查询数据库、操作工单系统、调用代码解释器、读取网页内容。
智能体Agent则把这个循环放大:模型作为规划器,拆解任务、分配工具、检查结果。比如用户让它“整理本周所有项目进度并给负责人发邮件”,Agent会先调用项目管理系统拿数据,再调用邮件工具,最后逐字确认。开发Agent时要注意两个问题:第一是上下文污染,每一轮的中间输出都会塞进上下文,次数一多模型思路容易被带偏;第二是工具返回值不可信,模型会把API返回的错误当成目标结果,所以工具层要做好解析和容错。
说实话,现阶段Agent还没到完全“自治”的水平。我的经验是把它设计成“半自动”:模型给出计划,关键步骤由人来确认,成功率比完全放任高很多。在生产环境里,大模型更多是“增强现有系统”而不是“替代业务系统”,这个边界想清楚,项目才不容易翻车。
5.2 数据安全与模型对齐:别只为了效果忽略风险
大模型上线的风险大致分两类。一类是模型自身不可控,比如幻觉、偏见、错误推理;另一类是外部攻击,比如提示词注入:恶意用户把指令藏在文本中,诱导模型执行超出授权的操作。训练数据投毒也是一个长期存在的隐患,如果训练集里混入精心构造的后门样例,模型可能在特定触发词下产生异常输出。这些风险在通用公网API上尤其要认真对待。
企业部署大模型时,我建议做三层防线。第一层是输入侧过滤:对用户输入做敏感内容识别和提示词注入检测,长文本要分段审查。第二层是模型侧对齐:给模型设计系统提示词和拒绝策略,对高风险指令明确拒绝而不是委婉绕开。第三层是输出侧校验:凡是模型要写入业务系统的内容,都要走规则校验或二次确认。多模态模型还要额外注意:图片里的文字攻击、音视频里的隐藏指令,目前防护手段还没有特别成熟。
这些不是劝退,而是给大模型应用加一副“安全带”。我见过不少团队把全部精力放在“模型答得准不准”上,上线后才发现提示词注入能让机器人执行不该执行的指令。效果指标当然重要,但没有安全边界的模型,效果越好风险越大。
5.3 本地部署与选型建议:我踩过的坑
如果你想把开源模型私有化部署,第一件事不是下载模型,而是明确你要它干什么。纯对话助手选7B左右的中文优化模型就够,企业知识库问答至少14B起步,复杂代码生成和Agent任务建议直接考虑70B或更大。模型再强,显存不够都一样白搭。我个人的参考:7B模型经过4bit量化大约需要4到6GB显存,14B需要10GB上下,70B量化后也需要40GB以上,这还没算KV Cache的空间。提前评估好GPU预算,能省掉后面一大半麻烦。
部署工具我比较常用的组合是Ollama配合LangChain或FastGPT。Ollama把权重管理、量化、启动一条命令解决,适合本地试验;真要上生产,建议用vLLM这类推理服务,吞吐更稳。还要记住一件事:模型“下载即责任”。开源模型的许可协议各有不同,商用前一定要检查License,有的要求保留版权声明,有的不允许商用,忽略这个容易埋雷。
最后再说一个部署中容易被忽略的点:私有模型的文件命名和版本管理。我见过有人把三个不同底座的模型全叫“final_final”,两周后再加载时完全分不清哪个是哪个,微调数据也绑错了模型。建议从一开始就用清晰规则:底座名+版本+量化格式+微调时间,比如“qwen2.5-14b-q4-202505”。这看起来是小事,但在团队协作里能避开大量踩踏。
把这份大模型发展史的学习笔记整理完,我最强烈的感受是:这条路的每一步都是上一代技术瓶颈逼出来的。n-gram处理不了长依赖,于是有了词向量和神经网络;RNN训练太慢,于是有了Transformer;预训练模型不会对话,于是有了RLHF;闭源模型成本太高,于是有了开源生态和高效微调。我建议你也按这个顺序动手试一遍,不用每篇论文都精读,挑几个代表作跑一跑、再本地部署一个开源模型,很多概念自然就通了。技术史的意义不在于背时间线,而在于理解每一次选择背后的约束和动机。把这条脉络理顺之后,你今天看到的所谓热点,大概率都能从历史里找到影子。希望这篇笔记能帮你少走一些弯路。