ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

大模型与AIGC学习地图:从Transformer到本地部署复习清单

大模型与AIGC学习地图:从Transformer到本地部署复习清单

简介:厦门大学大数据教学团队林子雨副教授的《大模型概念、技术与应用实践》科普PPT,面向高校师生、技术初学者以及希望系统理解大模型与AIGC应用的从业者,帮助建立从人工智能发展脉络到大模型原理、部署与智能体的整体认知。资源为单份PDF,共1个文件,约14.41MB,140页幻灯片式内容便于通读、课堂分享与知识梳理。目前已有663人学习。内容从人工智能发展简史、图灵测试与达特茅斯会议切入,讲解人工智能思维、大模型概念与发展历程、原理特点、分类、行业应用、对工作生活的影响、本地部署及基于大模型的智能体,并延伸到AIGC应用实践。读者可借此搭建大模型知识框架,理解DeepSeek等产品的技术背景,获得可复用的课程提纲与科普讲解素材。

1. 一张地图先铺开:大模型这门方向到底在讲什么

大模型、DeepSeek、AIGC 这几个词现在几乎绑在一起出现,可摊开看,它们是同一条线上的三个刻度:大模型是底座,DeepSeek 代表底座上被反复讨论的一类开放路线,AIGC 是它长出来的应用层。很多人名词背了一堆,被问一句「Transformer 和 GPT 到底什么关系」就卡住,问题不在记性,在于脑子里没有一张能把东西挂上去的地图。这份材料的目录恰好按「人工智能简史 → 人工智能思维 → 大模型概念与技术 → AIGC 应用实践」排了一遍,顺着走正好补上这张图。它适合两类人:正在系统学大模型、需要一份能对着复习的骨架的;以及学过一阵、想快速查漏补缺的。

2. 简史与思维:图灵测试、阶段划分和「了解—区分—协作」

历史部分看着像科普,实际是整份材料的坐标系。后面讲大模型为什么是「前沿」,讲的是它站在哪一段历史的肩膀上;讲人工智能思维,讲的是普通人该用什么姿势面对它。这两块如果只当故事听,复习时就会出现「年份记得住、意义说不清」的尴尬。梳理下来会发现,这一章真正要你记住的只有三件事:一个判据、一条脉络、三种姿态。

2.1 图灵测试:三要素与它的边界

1950 年那篇《计算机器与智能》开篇抛出的问题是「机器能思考吗」,随后给出的不是定义,而是一个可操作的替代方案:既然「思考」没法直接观测,那就改测外部行为。做法是测试者与被测试者隔开,被测试者一边是人、一边是机器,测试者通过键盘之类的装置随意提问,多轮之后看结果。

判据的原文表述是:如果机器让平均每个测试者做出超过 30% 的误判,就认为它通过了测试、具有人类智能。这里最容易记错的是主客体方向——30% 说的是「被机器骗过去」的比例,不是「机器答对题」的比例,也不是「机器被判成人」的绝对次数。复习时把它压缩成三要素最稳:隔离提问、多轮交互、30% 误判率。

它的价值在于把哲学问题工程化,局限也在这里:测的是「像不像人」,不是「懂不懂」。一个只会迎合提问者、说话滴水不漏的系统,完全可能在行为层面骗过测试者,却在事实层面一塌糊涂。今天大模型的语言能力早就远超当年的想象,但「流畅」与「可靠」之间的那道缝,依然是这门课里最需要保持警觉的地方。

提示:这一节考的是「判据方向」,不是年份。把 30% 记成「答对率」是最常见的失分点。

2.2 六个阶段与未来的五个阶段怎么记

从 1956 年被称作「人工智能元年」算起,发展历程大致被切成六个阶段。原讲义里这部分是一张时间轴图,光看年份很难记住,建议换一根线:每一阶段解决了上一阶段的什么瓶颈。早期是符号推理和专家系统,靠人把知识一条条写进去,规则一多就维护不动;随后转向机器学习,让模型自己从数据里找规律,但浅层模型表达能力有限;深度学习把层数堆上去,特征不用手工设计了,代价是算力和数据;再往后就是预训练大模型,把「一个任务训一个模型」变成「一个大模型适配多种任务」。

1956 年夏天那场研讨会值得单独记一笔:一群学者凑在一起讨论机器智能的可能性,会上「人工智能」这个说法第一次被正式提出,这一年也因此被视为学科的起点。至于未来的五个阶段,材料给的是趋势判断而非定论——更强的自主性、从「会生成」走向「会做事」、与智能体结合等等。复习时把它当作方向感来用就够了,不必当成必须逐条背诵的清单。

阶段大致年份代表性技术解决的瓶颈
萌芽期1950—2005CNN 雏形、LeNet-5从浅层机器学习走向深度学习
沉淀期2006—2019Word2Vec、GAN、Transformer从任务专用走向可预训练的通用架构
爆发期2020 至今千亿级预训练模型、RLHF、指令微调从「能训」走向「能对齐、能通用」

这张表建议手抄一遍。它把第二章的历史和第三章的技术连成了一根线,考试或者面试被问到「大模型是怎么来的」,从这张表往外讲,逻辑不会散。

2.3 人工智能思维:了解、区分、协作三层

材料把普通人该有的姿态拆成三层,这个拆法比很多长篇论述都干净:了解——知道它的基本运行模式,知道它是按概率生成下一个词,而不是去数据库里检索一条标准答案;区分——分得清哪些事该交给人拍板,哪些事交给机器更划算;协作——懂得怎么把任务拆给它、怎么校验它给的结果。

三层里最容易被跳过的是「了解」。跳过它的人往往会走向两个极端:要么觉得它无所不能,把关键判断也交出去;要么觉得它就是个高级玩具,一次答错就再也不用。真正实用的心态在中间——把它当成一个知识面很广、表达很顺、但不保证事实正确的实习生。你会让它写初稿、列提纲、做格式转换,但涉及数字、结论、对外表述,你会自己再过一遍。

落到复习上,这一节的价值是给后面的技术章节定调。等你读到「幻觉」「上下文窗口」「温度参数」这些词时,会发现它们全都在解释同一件事:为什么这个实习生会一本正经地胡说,以及你能用什么旋钮去降低这种概率。

3. 概念与参数:大模型的「大」、四个能力和分类维度

这一章是整份材料的地基。地基不牢,后面讲发展历程、讲本地部署、讲智能体,全都只能靠背。梳理下来会发现,概念部分真正需要记牢的就三块:一个定义、一组数字、四个能力特点。定义决定你怎么向别人解释,数字决定你对规模的直觉,四个特点决定你能不能判断一个场景适不适合用它。

3.1 「大」到底大在哪:三个维度与几个关键数字

大模型通常指基于深度学习技术、具有海量参数、强学习能力和泛化能力、能处理和生成多种类型数据的模型。「大」不是形容词,它落在三个可量化的维度上:参数数量庞大、训练数据量大、计算资源需求高。三者是绑定的——参数堆上去,没有足够的数据喂会过拟合,没有足够的算力又训不完。

规模感最好用具体数字建立:

时间模型参数规模备注
2020 年GPT-31750 亿当时最大的语言模型,零样本任务上有明显提升
2021 年某万亿级中文模型10 万亿稀疏化路线的极端案例,说明「参数」口径并不统一
2023 年GPT-4约 1.8 万亿(公开流传口径)相比上一代提升一个数量级,多模态能力同步引入

注意:跨模型的参数数字经常不可比。稠密模型和稀疏模型(MoE)的「总参数」和「激活参数」是两回事,看到十万亿这种量级先问一句是哪个口径,否则很容易得出「参数越大越强」的错觉。

这也解释了一个常见困惑:为什么有的模型参数量少反而更好用。参数只是容量上限,真正决定效果的是数据质量、训练策略和对齐程度。把「大」理解成「有更大的空间去装知识」,而不是「装得越多越聪明」,后面很多结论就顺了。

3.2 四个能力特点,以及它们背后的同一个机制

材料把大模型的能力归纳成四条:语言生成能力、学习能力、上下文理解能力、可迁移性。

语言生成能力指的是它能写出更自然流畅的句子,减少输出里的语病和前后矛盾;学习能力指它能从海量数据里吸收知识和模式,给出更准确的答案和预测;上下文理解能力指它能接住复杂语义和语境,产出更连贯的回应;可迁移性指一次训练得到的知识和能力可以迁移到不同任务和领域,不必每个任务重训一遍。

这四条听起来像四件事,追到底其实是同一个机制:自监督的下一词预测。模型在海量文本上反复练习「给定前文,下一个词最可能是什么」,练到足够好时,语言规律、事实关联、推理套路都被压缩进了参数里。可迁移性正来源于此——它学的不是某个任务的答案,而是语言的通用结构,所以换个任务只需要换个提示。

理解这一点,对后面判断场景特别有用。凡是「有大量文本可供学习、且输出允许存在一定不确定性」的任务,它通常表现不错;凡是「答案唯一且必须精确、或需要实时数据」的任务,它就容易翻车。这不是模型不行,是机制决定的边界。

3.3 分类维度与应用领域

「大模型」不是一个模型,而是一大类。复习时按维度切比按名字背有效得多:

  • 按模态:语言模型、视觉模型、多模态模型。多模态是当前主线,能同时处理文本、图像甚至音视频输入。
  • 按能力方向:偏理解的(分类、抽取、检索)和偏生成的(写作、绘图、代码)。
  • 按开放程度:开放权重可本地部署的,和只能通过接口调用的。前者可控性强,后者省事。
  • 按规模:从能在笔记本上跑的十亿级,到需要集群的万亿级。
  • 按部署方式:云端调用与本地部署,这条线直接决定数据能不能出院区。

应用领域这块,材料给的是全景式列举,复习时不必逐条背,抓住「三类落点」更实用:内容生产(文案、脚本、翻译、代码)、知识服务(问答、摘要、检索增强)、流程自动化(表单处理、工单分派、智能体编排)。AIGC 这个词覆盖的正是第一类和第二类的大部分场景。

值得单独提一句的是 DeepSeek 这类开放权重路线带来的变化:模型权重可获取,意味着「本地部署」从大机构的专属变成了中小团队也能试的选项。它直接冲击的是数据敏感型场景——医疗、法律、教育、企业内部知识库,这些地方数据不方便出门,开放权重就成了刚需。分类维度里「开放程度」这一条,实际价值比看上去大得多。

4. 三段演进:CNN、Transformer 与预训练范式的技术账

发展历程这一章,很多人当成大事年表背,结果一到「为什么 Transformer 重要」就说不出来。换个角度:这三次跃迁每一次都在解决上一代的具体缺陷。CNN 解决的是「手工设计特征太累」,Transformer 解决的是「循环结构没法并行、长距离依赖记不住」,预训练范式解决的是「一个任务训一个模型太贵」。抓住「解决什么缺陷」,年份自然会跟着记住。

4.1 三段演进:从 CNN 到 Transformer 再到预训练

萌芽期(1950—2005)以 CNN 为代表。1956 年「人工智能」概念提出后,路线从基于小规模专家知识逐步转向基于机器学习;1980 年出现卷积神经网络的雏形;1998 年 LeNet-5 确立了现代卷积网络的基本结构,机器学习由此从浅层模型迈入深度学习,为自然语言生成、计算机视觉等方向的深入研究打下基础,对后续深度学习框架的迭代和大模型发展具有开创性意义。

沉淀期(2006—2019)以 Transformer 为代表。2013 年 Word2Vec 首次把词变成向量,让计算机能以数值方式理解文本;2014 年 GAN 诞生,深度学习进入生成模型研究的新阶段;2017 年基于自注意力机制的 Transformer 架构被提出,奠定了大模型预训练算法架构的基础;2018 年 GPT-1 出现,预训练大模型成为自然语言处理的主流——GPT 的全称就是「生成式预训练 Transformer」,三个词分别对应它的三个特征:会生成、先预训练、用 Transformer 结构;2019 年 GPT-2 跟进。

爆发期(2020 至今)以预训练大模型为代表。2020 年 GPT-3 把参数推到 1750 亿,在零样本任务上性能大幅提升;随后 RLHF(基于人类反馈的强化学习)、代码预训练、指令微调等策略陆续被引入,进一步提高推理能力和任务泛化;2022 年 11 月,搭载 GPT-3.5 的对话产品横空出世,凭借逼真的自然语言交互与多场景内容生成能力迅速引爆互联网,让大模型这个概念第一次进入普通大众的视野。

年份事件为什么重要
1998LeNet-5确立现代 CNN 基本结构,深度学习有了可复用的骨架
2013Word2Vec词变向量,文本第一次能被数值化处理
2014GAN生成模型成为独立研究方向
2017Transformer自注意力替代循环结构,可并行、可堆深,成为大模型地基
2018GPT-1「预训练 + 微调」范式跑通
2020GPT-3规模定律被验证,零样本能力出现
2022对话式产品爆发大模型从实验室走进大众视野

4.2 原理与术语:token、注意力、预训练与 RLHF

真正卡人的不是架构名,是一串工程术语。把它们按「数据流经过的顺序」串一遍,比孤立记忆有效得多:文本先被切成token(子词单元,中文一个字或半个词,英文常见词根),token 被映射成embedding向量,向量进入多层注意力结构,模型在每一步算出下一个 token 的概率分布,采样出结果,再拼回文本。

上下文窗口是这条流水线一次能装下的 token 上限。它决定了模型「一次能看多长」,超出部分会被截断——这是工程上翻车最多的地方之一,长文档问答效果差,十有八九是内容被截了而不是模型笨。温度(temperature)控制采样的随机性:接近 0 时几乎总选概率最高的词,输出稳定但可能呆板;调高则更发散。做概念题、抽取题应当往低调,写创意文案才往高调。

预训练是在海量无标注文本上做下一词预测,得到底座模型;微调是在少量任务数据上继续训练,让它适配具体场景;RLHF排在微调之后,用人类对回答的偏好排序来训练一个奖励信号,再据此优化模型,让它「答得更像人希望的样子」。三者的顺序不能乱,这是最容易记混的一处。

下面这段调用示例,把上面几个参数落到实际请求里:

import json import urllib.request # 请求体:字段名按常见对话接口约定,实际部署时以服务端文档为准 payload = { "model": "local-chat-7b", # 本地服务里加载的模型标识 "messages": [ {"role": "system", "content": "你是严谨的助教,只回答课程内的概念问题"}, {"role": "user", "content": "用三句话解释什么是上下文窗口"} ], "temperature": 0.2, # 概念题压低随机性,0~0.3 较稳 "max_tokens": 512, # 限制输出长度,防止跑题长篇 "top_p": 0.9 # 与 temperature 二选一为主,别同时大幅调 } req = urllib.request.Request( "http://127.0.0.1:8000/v1/chat/completions", data=json.dumps(payload).encode("utf-8"), headers={"Content-Type": "application/json"} ) resp = json.loads(urllib.request.urlopen(req, timeout=60).read()) print(resp["choices"][0]["message"]["content"])

这段代码的逻辑很直白:把对话历史按角色组织成 messages 数组发给本地服务,服务端返回生成结果。三个参数值得单独说明——temperature控制采样随机性,概念问答场景应压低到 0.3 以下;max_tokens限制单次输出长度,是控制成本和跑题的第一道闸;top_p是另一种截断采样空间的方式,和 temperature 同时大幅调整容易让输出变得难以复现。真正的坑在timeout:本地推理的首字延迟可能很长,超时时间设短了会直接报错,看起来像服务挂了,其实只是模型还在算。

4.3 本地部署、智能体与 AIGC 落地

本地部署这条线,材料给了完整路径。先算显存:粗略口径是「参数量 × 每参数字节数 × 1.2 左右的冗余系数」。FP16 精度下每个参数约 2 字节,一个 70 亿参数的模型光权重就要 14GB 左右,加上上下文缓存(KV Cache),16GB 显存的卡勉强够用;量化到 INT8 约减半,INT4 再减半但会有质量损失。这条算式能帮你在选硬件之前就判断可行性,比装完再发现跑不动划算得多。

智能体是把模型从「会回答」推到「会做事」的一层封装,通常包含三部分:规划(把目标拆成步骤)、工具(搜索、计算、调接口)、记忆(保存中间结果和长期偏好)。它在材料里被单列出来,是因为这代表了从 AIGC 到「AI 干活」的方向变化。复习时抓住一句话就够:模型负责决策,工具负责执行,记忆负责连续。

AIGC 应用实践这一块,材料的落点是场景而不是算法。写文案、做摘要、生成脚本、翻译、代码补全、知识库问答,这些场景的共同特征是「有大量文本可供学习、且允许人工复核」。反过来,凡是要求数字精确、时效性强、责任必须落到具体人的任务,都不适合直接交给它闭环。这条判断标准比背十个案例都管用。

5. 易漏点:五处最容易翻车的地方与补法

这一章是全篇最该反复看的部分。前面几章讲的是「应该记住什么」,这一章讲的是「你以为记住了其实记反了」。下面五条都是从复习和实际使用中最常出错的地方挑出来的,每条按「易漏在哪 → 为什么会漏 → 怎么补」写,照着自查一遍,比重新读一遍材料效率高。

5.1 概念层:三个容易张冠李戴的说法

易漏点一:把「参数大」直接等同于「效果好」。为什么会漏——材料在讲规模时列了一串震撼的数字(1750 亿、1.8 万亿、10 万亿),数字最容易被记住,因果关系最容易被跳过。补法是给自己加一句限定:参数是容量,效果取决于数据质量、训练策略和对齐程度三者共同作用,而且稀疏模型的总参数和激活参数根本不是一回事,跨模型比参数基本没有意义。下次看到「某模型参数超越某某」的说法,先问口径。

易漏点二:图灵测试的 30% 判据记反。为什么会漏——这个数字太醒目,而「谁被误判」这个方向在记忆里容易被抹平。补法是把判据写成一句完整的话再背:「机器让平均每个测试者做出超过 30% 的误判,即视为通过」。顺带记住它是行为主义判据,测的是像不像人,不是懂不懂,这条能顺手解释今天模型「流畅但不可靠」的观感来源。

易漏点三:把 Transformer 和 GPT 当成同一层级的东西。为什么会漏——GPT 的全称里就带 Transformer,两个词又总是一起出现,很容易混成一个。补法是画一个包含关系:Transformer 是 2017 年提出的网络结构(地基),GPT 是基于这个结构、采用「生成式 + 预训练」路线的模型家族(房子)。同理,BERT 也是 Transformer 的后代,只是走的是理解路线。把「架构」和「模型」两层分开,一堆名词立刻各归其位。

5.2 技术层:两个跳过就答不出来的细节

易漏点四:预训练、微调、RLHF 的顺序和职责搞混。为什么会漏——三个词在材料里出现的位置相近,都跟「训练」有关,不刻意区分就会糊成一团。补法是用一句话锁死顺序:先在无标注语料上预训练出底座,再用任务数据微调出能力,最后用人类偏好做 RLHF 调出「说话得体」。顺序颠倒讲不通——没有底座谈不上微调,没有微调直接上 RLHF 成本极高且容易跑偏。

易漏点五:把模型当数据库用,忽略上下文窗口与幻觉。为什么会漏——演示时它答得太顺,顺到让人忘了它在做概率生成。补法是记住两条硬边界:一是上下文窗口是硬上限,超长文档必须先切分再检索,别指望它「都读过了」;二是它对不存在的事实也会给出通顺答案,凡是数字、引用、结论,必须回到原始材料核对。工程上稳妥的做法是「检索 + 生成」组合,先捞出相关片段再让它基于片段回答,把「记忆」这件事交给检索,而不是交给模型参数。

注意:这五条里,第四条和第五条是真正会在实际项目里造成损失的,前面三条更多影响答题和表达。时间有限的话,优先补后两条。

6. 复习清单:把概念、技术、应用三层过一遍的自测表

复习这件事,最怕的是「看了一遍觉得都会,合上书一句说不出来」。比较稳的做法是分三遍走,每遍目标不同:第一遍求全,把目录当骨架,把每节的核心结论写成一两句话贴在骨架下面;第二遍求连,专挑跨章节的问题自问自答,比如「Transformer 为什么能取代循环结构,这个变化又怎么导致了大模型的爆发」;第三遍求准,只盯易错点,把上一章那五条当成判断题过一遍,能一句话说清对错和原因才算过。

具体到自测,下面这张表可以直接抄下来当检查清单,每一项都要能不看材料说满三十秒:

层级自测问题过关标准
概念大模型的「大」体现在哪三个维度能说出参数、数据、算力,并补一句「参数不等于效果」
概念四个能力特点分别是什么四个都能说出来,并能归因到「下一词预测」这同一个机制
技术Transformer 解决了什么缺陷说得出可并行、长距离依赖两点
技术预训练、微调、RLHF 的顺序顺序正确,且能说清各自解决什么问题
技术本地部署怎么估显存能报出「参数量 × 字节数 × 1.2」并算一个 7B 模型的例子
应用什么场景不适合直接交给模型闭环能给出「答案唯一、时效性强、责任需落到人」这类判断标准
易错图灵测试的判据方向一次说对,不假思索

再补一个自己一直在用的小技巧:给每个核心概念写一张「三行卡片」——第一行是什么,第二行解决什么问题,第三行最容易和谁搞混。卡片不用长,逼自己压到三行,反而能暴露那些「好像懂其实没懂」的地方。我当时复习到「多模态」时就是这么发现问题的:能说出它指文本图像一起处理,却说不出它解决的是单一模态信息不全的问题,卡在第二行,说明只记住了名词。

还有一个血泪经验:别把材料从头到尾平铺着读第二遍。第一遍读完就立刻做一次自测,把答不上来的地方标出来,第二遍只读标出来的部分。我最早复习时习惯整本重看,看着看着就滑进了「熟悉感」的陷阱——每一页都眼熟,合上书还是串不起来。后来改成「先自测、再定点补」,同样时间能多过两轮。从那以后我每次复习任何一门技术,都强制先合上材料默写一遍骨架,再回去补窟窿。希望帮到你。

本文还有配套的精品资源,点击获取

返回列表