👋 Hi，我擅长AI 大模型应用落地、意识解码与 AI 开发工具链。 💡 创业路上，用技术换时间，一起把 AI 变成生产力 🚀 >

从深蓝到 AlphaGo：六十年人机博弈，人类到底输在哪一步

AI 编年史 · 第 06 篇- 模块二【方法演进】· 三次范式 · 搜索与学习的分离与合流 · 人类经验的边际

📚 专栏信息

《AI 编年史：一条能查到底的时间线》专栏

专栏定位：面向技术读者与自学者，用 158 条带原始来源的条目，把 AI 从 1912 年到 2026 年的关键转折讲清楚

本系列共 10 篇，分为四大模块：

📖 模块一【源头考据】(3 篇)：年代盘点、起源（1912/1936）、感知机之争
🔧 模块二【方法演进】(3 篇)：反向传播到 AlexNet、Transformer 到 GPT、人机博弈
🛡️ 模块三【工程实践】(1 篇)：五席评审管线与八步门禁
📚 模块四【读者工具】(3 篇)：学习路线、面试 20 问、教学素材

本文是模块二第 3 篇，模块收尾。它把 1912 到 2019 的博弈线串起来，回答一个问题：人类在棋盘上到底输在哪一步？

👨‍💻 作者与项目

作者简介：翁勇刚 WENG YONGGANG
AI 编年史（aihist）维护者，新概念龙虾-WeClaw 开发团队负责人
理念：“再早的历史，也能查到它的源头”

• 🌐 站点地址：https://aihist.net
• 📝 作者 CSDN：https://blog.csdn.net/yweng18
• 📦 收录标准（JSON）：https://aihist.net/api/v1/standard
• 💻 同作者技术专栏：WeClaw 实战指南（CSDN 专栏）
• 🔍 发现错误：每个条目页页脚有纠错入口

📝 摘要

本文结构概览：
从 1912 年那台只会解残局的机械棋手起头，到 1959 年塞缪尔的跳棋程序第一次"从经验中改进策略"；
再跳到 1992 年的 TD-Gammon——它在西洋双陆棋上已经用上了神经网络 + 时序差分；
然后是 1997 年深蓝：纯搜索路线的巅峰；2015 年 DQN 把"从像素学"做实；
2016 年 AlphaGo 把搜索与学习焊在一起；2017 年 AlphaGo Zero 干脆把人类棋谱扔掉；
最后到 2019 年 AlphaStar 走进不完全信息与实时操作。

背景：
棋类是人机对抗最干净的实验场：规则封闭、胜负明确、可无限自我对弈。
正因为它干净，六十年里每一次范式变化都能被清楚看见。

核心问题：
人类在棋盘上输的，是算力、是直觉，还是"经验本身的价值"？

解决方案：
把六十年拆成三次范式——手工评估 + 暴力搜索、学习评估 + 搜索、只靠自我对弈。
三次范式的差别不在算力，而在"人类知识被放进系统的哪个位置"。

关键成果（按生产库条目实测）：

• 1959 塞缪尔跳棋程序通过自我对弈调整评估函数，达到能战胜作者的业余强手水平
• 1992 TD-Gammon 用神经网络 + 时序差分自我对弈，达到接近人类冠军的水平
• 1997 深蓝 3.5:2.5 战胜卡斯帕罗夫，是专用搜索 + 并行计算在封闭规则任务上首次击败人类顶尖
• 2015 DQN 用同一套网络与超参数学会 49 款 Atari 游戏，多款超过人类专业测试者
• 2016 AlphaGo 4:1 战胜李世石，第二局"第 37 手"成为标志
• 2017 AlphaGo Zero 不从人类棋谱学习，三天内超越击败李世石的版本，并以 100:0 取胜
• 2019 AlphaStar 在《星际争霸 II》完整对局中达到宗师段位

适合读者：对强化学习与博弈感兴趣的人、想理解"搜索与学习"关系的工程师、AI 科普写作者

阅读时长：约 15 分钟

关键词：深蓝、AlphaGo、AlphaGo Zero、强化学习、蒙特卡洛树搜索、自我对弈

一、先说结论

人类输在三步，一步比一步彻底：

1. 1997 输给搜索。深蓝没有"棋感"，它靠专用评估函数加并行穷举，在封闭规则里压过了人。
2. 2016 输给搜索 + 学习的组合。AlphaGo 用策略网络缩小搜索宽度、价值网络缩小深度，把"暴力"变成了"有选择的暴力"。
3. 2017 输得最彻底——输给"不需要人类经验"。AlphaGo Zero 不用人类棋谱，只靠自我对弈，三天内超过了击败李世石的版本，并以 100:0 取胜。

所以真正的答案不是"算力比人强"。是：在规则完全明确、胜负可以自动判定的领域里，人类经验的边际价值会迅速衰减到零。

这句话有个关键限定——“规则完全明确、胜负可自动判定”。它解释了为什么棋类先失守，而写代码、看病、做研究没有。

二、1912 到 1959：从"会走棋"到"会改进"

第 02 篇讲过 1912 年的 El Ajedrecista：机械识别棋子、走完残局、完成将杀。它是专用机器，规则写死在结构里。

四十七年后，1959 年，塞缪尔（Arthur Samuel）的跳棋程序做了一件根本不同的事：它会调整自己的评估函数。

做法是自我对弈：程序和自己下很多盘，根据胜负去修正"什么样的局面算好"的权重。档案里的结论是：它最终达到能战胜作者的业余强手水平。

这三步的差别值得记住：

塞缪尔那句被引用最多的话大意是：与其教机器下棋，不如让它自己学。这句话在 1959 年是设想，在 2017 年成了事实。

三、1992：一条被低估的支线

在深蓝之前五年，有一条支线已经把"学习"做到了接近人类冠军的水平——TD-Gammon。

Tesauro 让神经网络通过自我对弈与时序差分学习评估棋局，在西洋双陆棋上达到接近人类冠军的水平。

它为什么重要：

• 不需要手工特征。网络直接从棋盘状态学评估值。
• 不需要人类棋谱。对手就是自己。
• 时序差分（TD）：不用等下完一整局才知道好坏，用"下一步的估计"来修正"这一步的估计"。

这三条，二十四年后原封不动地出现在 AlphaGo Zero 里。

那为什么 TD-Gammon 没有引爆？因为西洋双陆棋有骰子，随机性掩盖了评估误差，深度搜索的收益不明显；而且当时没有 GPU、没有大规模算力。方法对了，条件没到——和第 04 篇讲的是同一个规律。

四、1997：搜索路线的巅峰

1997 年 5 月，IBM 深蓝以 3.5:2.5 战胜国际象棋世界冠军卡斯帕罗夫。

它的技术构成，用一句话说是：专用硬件 + 并行搜索 + 人类专家评估 + 巨型开局库。

• 专用芯片做走子生成与评估，每秒能评估上亿个局面；
• 评估函数是人类大师和国际大师一起调的；
• 开局库收录了大量人类对局，避免在开局阶段浪费算力。

这是一次工程胜利，不是学习方法胜利。它证明的是：在国际象棋这种分支因子约 35、搜索深度可以做到十几步的领域，暴力搜索加好评估就够了。

它没有证明的是：这套方法能推广到围棋——分支因子约 250，同样深度下局面数是天文数字，暴力搜索必然失败。

这就是为什么 1997 到 2016 之间隔了十九年。不是没人试，是方法不对。

五、2015：先把"感知"这一环补上

在 AlphaGo 之前，2015 年 2 月，DQN 登上《Nature》。

DeepMind 用同一套网络结构与超参数，从原始像素和游戏得分信号学会 49 款 Atari 游戏，其中多款超过人类专业测试者。

它的贡献是把感知与决策接起来：输入是屏幕像素（210×160×3 的图像），输出是手柄动作，中间没有人工特征。

这一步很关键。棋类游戏的输入是结构化的棋盘状态，天然适合搜索；而 Atari 的输入是像素，必须先"看懂"。DQN 证明了深度网络可以从像素里学出可用的状态表示，再用它做决策。

DQN 能成，靠两个不显眼但关键的技巧：

这两条今天看很普通，但在 2015 年是"能把强化学习跑起来"和"跑不起来"的分界。深度强化学习的大部分工程难度，都在"让训练稳定"上，而不是在算法本身。

同一年 12 月，ResNet 用残差连接让上百层网络可训练。深度网络的容量上限被抬高了一档。

六、2016：把搜索和学习焊在一起

2016 年 1 月，AlphaGo 登上《Nature》：结合深度神经网络、蒙特卡洛树搜索与强化学习。3 月，它以 4:1 战胜李世石。

它的结构可以拆成四块：

1. 策略网络（policy） ：给定局面，预测下一步走哪里的概率分布 2. 价值网络（value） ：给定局面，预测最终胜率 3. 蒙特卡洛树搜索（MCTS） ：用上面两个网络引导搜索 4. 强化学习 + 自我对弈 ：用对弈结果反过来训练两个网络

关键在于两个网络各解决一个维度：

搜索负责"准"，学习负责"省"。这是六十年里第一次把两条线真正焊在一起。

蒙特卡洛树搜索本身分四步，值得看清楚，因为"搜索"到底在搜什么常被误解：

UCB 的核心是一个权衡公式：

选择分数 = 平均收益 + c × √(ln N总 / N该节点) ↑ 利用已有经验 ↑ 奖励探索

前半项让搜索集中心力在看起来好的分支，后半项保证冷门分支也有机会被试。c 就是"信经验"还是"多试试"的旋钮。

AlphaGo 真正的改动在第 3 步和第 1 步：把"随机走到底"换成"网络直接估"，把"均匀探索"换成"网络给先验"。两处都指向同一件事——用学到的知识缩小搜索空间。

第 37 手是这场比赛最著名的时刻：那是一步人类棋手几乎不会走的棋，赛后被称为"AI 创造力"的象征。但更准确的解读是——它证明了人类棋谱的分布不是唯一解。这一步不是"机器有灵感"，是"机器没被人类的先验限制住"。

七、2017：把人类经验扔掉

2017 年 10 月，AlphaGo Zero 发布：不从人类棋谱学习，仅靠自我对弈与蒙特卡洛树搜索，在三天内超越击败李世石的版本，并以 100:0 取胜。

这是这条线上最重要的一次实验，因为它是受控实验：

• 自变量：训练数据来源（人类棋谱 vs 纯自我对弈）
• 因变量：棋力
• 结果：不用人类棋谱的版本更强

它推翻了一个长期假设：顶尖人类对局是宝贵的训练数据。至少在围棋上，不是——人类棋谱既带来有用的先验，也带来人类的下法偏好（也就是"盲区"），而后者的代价更大。

顺带说一句 2019 年的 AlphaStar：在《星际争霸 II》完整对局中达到宗师段位。它把三件新东西带进来——不完全信息（看不到对手全图）、实时操作（动作有延迟与频率限制）、长时程规划。这三条比围棋更接近真实世界，也说明"搜索 + 学习"这套框架可以外推到更复杂的环境。

八、人类到底输在哪一步

回到核心问题。三个候选答案：

答案一：输在算力。不完整。深蓝确实靠算力，但 AlphaGo 的计算量并不比深蓝高多少——它靠的是把算力用在"该搜的地方"。AlphaGo Zero 甚至更省，因为它的搜索有更好的先验。

答案二：输在直觉。方向对，但不准确。机器并不是有了直觉，而是用网络替代了评估函数。人类的直觉是几十年对局压缩成的判断，网络的"直觉"是几百万局自我对弈压缩成的权重。两者是同一种东西的不同实现。

答案三（我认为最准确）：输在"经验的边际价值为零"。

在规则封闭、胜负可判定的领域里，自我对弈可以无限生成高质量数据，成本趋近于零。而人类经验是稀缺的、带偏好的、更新缓慢的。当数据可以自己造，人类经验就从"必需品"变成"可选项"，再从"可选项"变成"可能有害的偏置"。

这个结论有明确的边界，也就是它不适用的地方：

所以"AI 在棋盘上赢了"不等于"AI 在现实里赢了"。差别就在这四行。

补一句正在被测试的前提：上面整套结论都建立在"规则封闭、胜负可判定"上。2019 年的 AlphaStar 已经在削弱它——星际有战争迷雾、有实时操作限制——但那仍然是"有明确胜负的对手博弈"。真正没有胜负函数的领域（科研、医疗、写代码），自我对弈这套方法得换信号：人类反馈（RLHF）、可自动跑的测试用例，或者形式化证明。所以"输在哪一步"这个问题，棋盘上有答案，现实里还没有。

九、总结

三个关键点：

1. 三次范式：手工评估 + 搜索（深蓝）→ 学习评估 + 搜索（AlphaGo）→ 纯自我对弈（AlphaGo Zero）。差别在人类知识被放在哪里。
2. 第 37 手不是灵感，是"没被人类先验限制住"。它的意义是证明了人类棋谱不是唯一解。
3. 人类输在经验的边际价值归零，而这个归零只在"规则封闭 + 胜负可判 + 可无限自对弈"的条件下发生。

一个公式：

博弈能力 = 搜索（准） × 评估（省） × 数据（自我生成）

深蓝缺第三项（靠人力迭代），AlphaGo 三项齐全但第一项带着人类先验，AlphaGo Zero 三项齐全且没有人类偏置。

下一篇：《五个模型投票，八道门禁：一个内容档案怎么保证"每条都能查"》——进入模块三，讲这个站点自己的工程管线。

思考题：

1. 如果围棋的胜负不能自动判定（比如需要人类裁判），AlphaGo Zero 的路线还成立吗？
2. 现实任务里，哪一类最接近"规则封闭 + 胜负可判"？它们会不会是下一个失守的领域？

附录 A：本文引用的条目

附注：深蓝（1997）与 AlphaGo 对局（2016）在档案里都是likely，来源家族只有"官方发布页"一族。比分、日期、对局结果可查；更细的用时、读秒、具体着法则超出我核对的范围，正文因此停在能确认的粒度。

附录 B：参考资料

1. 本文归因入口（唯一外链）：https://aihist.net/go/csdn06
2. 上一篇：《Transformer 到 GPT：自注意力如何取代循环，2017 到 2020 到底解决了什么》
3. 下一篇：《五个模型投票，八道门禁：一个内容档案怎么保证"每条都能查"》

版权声明：本文为 CSDN 博主「翁勇刚」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。