语音识别效果一半取决于数据，需统一采样率、切片、提取梅尔频谱图并处理标签；模型从RNN+CTC到Conformer演进；训练监控CTC loss与CER，解码融合语言模型；部署注重量化、VAD和流式识别。
数据准备与预处理是语音识别的基石
语音识别效果好坏，一半取决于数据。原始音频需统一采样率（常用16kHz），转为单声道；再切分成固定长度片段（如2秒），避免过长导致内存溢出、过短丢失语境。推荐用Librosa加载并提取梅尔频谱图（Mel-spectrogram）——它更贴近人耳听觉特性。每帧加窗（如汉明窗）、做短时傅里叶变换（STFT），再映射到梅尔刻度，最后取对数压缩动态范围。标签部分需对齐文本：中文要分字或按BPE子词切分，英文可按字符或WordPiece，统一转为数字ID序列，并补零（padding）对齐批次长度。
模型选型：从CTC到Transformer的演进路径
初学者建议从RNN+CTC起步：用双向LSTM提取时序特征，接CTC损失层直接对齐音频与文本，无需强制对齐标注，训练稳定、解码快。进阶可换为CNN-BiLSTM-CTC结构，用卷积先提取局部声学特征，再交由LSTM建模长程依赖。当前主流是端到端Transformer架构（如Conformer），它融合卷积增强局部建模、自注意力捕获全局依赖，适合中英文混合或带口音的数据。PyTorch中可用torchaudio.models.Conformer快速搭建，或基于Hugging Face的Wav2Vec2ForCTC微调预训练模型——只需替换分类头、加载ASR数据集即可启动训练。
训练与解码：让模型真正“听懂”说话
训练阶段重点监控CTC loss下降趋势和字符错误率（CER）；使用学习率预热+余弦退火，配合梯度裁剪防爆炸。验证时用贪心解码（Greedy Decode）快速评估，即每帧取最高概率字符，连续重复自动合并。正式部署前务必接入语言模型（LM）做重打分：把CTC输出的N-best候选句，用n-gram或轻量级BERT LM重新排序，显著降低同音字/词错误（如“苹果” vs “评果”）。解码器推荐使用pyctcdecode，支持动态权重融合声学模型与语言模型输出。
部署与优化：让语音识别跑在真实场景里
训练好模型后导出为TorchScript或ONNX格式，便于跨平台部署。边缘设备（如树莓派）优先用量化（int8）+ 动态批处理，延迟可压至300ms内；服务端可用FastAPI封装REST接口，接收base64音频流，返回JSON结果。关键细节：音频前端需加VAD（语音活动检测）静音切除，避免无效计算；支持流式识别时，采用滑动窗口+缓存机制，每收到200ms新音频就更新一次识别结果，模拟实时听写体验。调试阶段多用真实录音（带环境噪声、不同口音）做AB测试，别只信测试集准确率。
基本上就这些。不复杂但容易忽略的是：数据清洗比调参更重要，解码策略比模型结构更影响最终体验。
