目录
一、ASR 技术演进全景
二、ASR 的本质：从波形到文字的序列映射
三、经典时代：HMM-GMM 与 DNN-HMM
3.1 HMM-GMM：统治了 30 年的基线
3.2 DNN-HMM：深度学习的首次介入
四、端到端 ASR 的三大流派
4.1 CTC（Connectionist Temporal Classification）
4.2 RNN-Transducer（RNN-T）
4.3 Attention-based Encoder-Decoder（AED）
五、Conformer：当前 ASR 的主流编码器
六、大模型时代的 ASR 范式
6.1 自监督预训练
6.2 弱监督大规模预训练
6.3 大语言模型 + ASR 的融合
七、ASR 的核心评价指标
7.1 准确率指标
7.2 实时率与延迟
八、工程实践建议
九、总结
一、ASR 技术演进全景
ASR 的技术演进大致可分为三个阶段：
（1）经典统计时代：HMM-GMM 主导，依赖专家知识和强制对齐
（2）深度学习介入：DNN-HMM 混合系统，用神经网络替换 GMM
（3）端到端时代：CTC、RNN-T、AED 三大流派，再到自监督预训练和大模型融合
二、ASR 的本质：从波形到文字的序列映射
语音识别（Automatic Speech Recognition, ASR）要解决的核心问题可以形式化地表述为：
给定一段音频特征序列X= (x₁, x₂, ..., x_T)，找到最可能的文字序列W*：
W* = argmax_W P(W|X)
这个看似简洁的概率公式背后，经历了从统计模型到深度神经网络，再到端到端系统的三次范式转移。本文将带你完整走过这段进化之路。
三、经典时代：HMM-GMM 与 DNN-HMM
3.1 HMM-GMM：统治了 30 年的基线
在深度学习出现之前，ASR 的主流框架是 HMM-GMM（隐马尔可夫模型 + 高斯混合模型）：
HMM 的三个经典问题：
| 问题 | 含义 | 算法 |
|---|---|---|
| 评估 | 给定模型和观测，计算概率 | 前向-后向算法 |
| 解码 | 给定模型和观测，找最可能的状态序列 | Viterbi 算法 |
| 学习 | 给定观测序列，估计模型参数 | Baum-Welch（EM）算法 |
HMM-GMM 的问题：
GMM 对高维非线性数据的建模能力有限
需要 HMM 状态与语音帧之间的强制对齐（Forced Alignment），依赖专家标注
上下文相关音素（Triphone）导致状态空间爆炸
决策树状态聚类（State Tying）虽然缓解了数据稀疏，但限制了模型容量
3.2 DNN-HMM：深度学习的首次介入
2011-2012 年，DNN 开始替换 GMM，形成 DNN-HMM 混合系统。核心变化是：用 DNN 直接预测每个 HMM 状态的后验概率 P(s_t |x_t)，而非 GMM 的似然建模。
相比 GMM 的优势：
DNN 能利用长达 11-21 帧的上下文窗口，建模能力远超 GMM
不需要对特征分布做对角协方差假设
在相同数据量下，WER 相对 GMM 降低 20-30%
代表模型：
TDNN（时延神经网络）：通过一维卷积沿时间轴捕获上下文，是最早用于 ASR 的深度模型之一
LSTM（长短期记忆网络）：解决了长序列梯度消失问题，显著提升了远距离上下文建模能力
TDNN-F（因子化 TDNN）：Kaldi 中的主力声学模型，通过矩阵分解大幅减少参数量
四、端到端 ASR 的三大流派
端到端 ASR 的核心思想是：不再需要 HMM、发音词典、强制对齐，用一个神经网络直接从音频映射到文字。
先介绍一个将这些流派落地到工业场景的工具包——FunASR。它由阿里达摩院开源，定位是“基础端到端语音识别工具包”，集成了多种模型架构和完整的服务部署能力。
FunASR 的核心价值在于：它不是一个单一模型，而是一套可组合的端到端流水线。以实时语音听写场景为例，一个典型的 FunASR 服务链路包含多个协同工作的模块
这种设计的核心思路是：流式模型负责“快”，非流式模型负责“准”。流式 Paraformer 每 600ms 输出一次中间结果，保证实时性；当检测到说话停顿（VAD 判定句尾）时，切换到非流式 Paraformer 对整句做一次高精度推理，用更准的结果修正之前的流式输出。这种“实时+修正”的两遍策略，在延迟和准确率之间取得了很好的平衡。