语音识别依赖于几种核心算法将音频信号转换为文本。这些算法处理特征提取、序列建模和语言理解等任务。虽然现代系统通常结合多种方法，但有三类算法特别具有基础性：隐马尔可夫模型 (HMM)、深度神经网络 (DNN) 和连接主义时间分类 (CTC)。每种算法都解决了处理语音数据中的特定挑战，例如处理变长输入或捕获时间依赖性。
HMM 是一种概率模型，传统上用于对语音声音序列进行建模。它们通过将音素（不同的声音单元）表示为状态来工作，状态之间的转换由概率控制。例如，HMM 可以模拟单词“sun”中从“s”音到“ah”音的转换。HMM 与高斯混合模型 (GMM) 配对使用，以将梅尔频率倒谱系数 (MFCC) 等音频特征映射到这些状态。虽然 HMM 在今天的主导地位不如以前，但它们为处理语音中的时间序列数据奠定了基础。早期的系统，如 CMU Sphinx，使用 HMM-GMM 混合模型进行数字识别等任务。
深度神经网络 (DNN)，特别是卷积神经网络 (CNN) 和循环神经网络 (RNN)，已成为现代语音识别的核心。CNN 处理类声谱图音频特征以检测局部模式（例如，共振峰或爆破音），而像长短期记忆 (LSTM) 网络这样的 RNN 则建模序列中的时间关系。例如，百度的 DeepSpeech 使用 CNN 进行初始特征提取，并使用 LSTM 捕获跨时间步的上下文。具有自注意力机制的 Transformer 也因其建模长程依赖关系的能力而受到关注。这些基于 DNN 的方法自动化了特征工程，减少了对手工声学模型的依赖，并提高了在不同口音或嘈杂环境下的准确性。
连接主义时间分类 (CTC) 解决了音频帧与文本输出对齐的挑战。CTC 允许模型直接输出字符，而无需严格的帧级对齐，这对于在未分段数据上进行训练至关重要。例如，CTC 损失函数可以使模型输出“cat”，即使“c”、“a”和“t”的声音没有与特定的时间步完美对齐。这通常与 n-gram 或 BERT 等语言模型结合使用，以利用上下文知识来改进预测（例如，纠正“recognize speech”而不是“wreck a nice beach”）。Mozilla 的 DeepSpeech 或 OpenAI 的 Whisper 等开源工具将这些组件集成到端到端流水线中，平衡声学和语言建模以实现稳健的性能。