训练加速与模型压缩需协同优化：混合精度训练降显存提速度，分布式训练扩展算力，结构化剪枝兼顾效率与硬件兼容，qat比ptq更稳保精度，所有优化必须基于量化指标验证。
训练加速和模型压缩不是互斥的两件事，而是深度学习落地中必须协同考虑的两个维度：前者解决“训得快”，后者解决“跑得动”。关键在于根据实际场景做取舍——比如边缘设备部署更看重压缩后推理速度与精度的平衡，而大模型预训练则优先保障加速策略不破坏收敛性。
混合精度训练：用FP16省显存、提吞吐
现代GPU（如V100/A100/RTX4090）对半精度浮点（FP16）有原生Tensor Core支持。PyTorch中只需几行代码即可启用，显存占用可降约50%，训练速度提升1.5–3倍，且对多数CV/NLP任务精度几乎无损。
- 使用torch.cuda.amp模块：定义
GradScaler处理梯度下溢，配合autocast上下文自动切换精度 - 注意BN层和Loss计算仍建议在FP32下进行，AMP会自动处理
- 避免手动将模型
.half()——这会导致部分算子不兼容，应全程用AMP管理 - 验证时务必切回FP32或用
torch.inference_mode()，防止评估偏差
分布式训练提速：从单机多卡到跨节点扩展
当单卡显存或训练周期成为瓶颈，分布式是必选项。PyTorch的DDP（DistributedDataParallel）比旧版DataParallel更高效，通信开销低、扩展性好，且天然支持混合精度。
- 启动方式推荐
torch.distributed.run（不再用python -m torch.distributed.launch） - 每个进程绑定独立GPU：
torch.cuda.set_device(local_rank)，避免显存竞争 - 数据加载器需用
DistributedSampler，确保各进程看到不重叠的子集 - 跨节点时，统一设置
MASTER_ADDR和MASTER_PORT，用NCCL后端（GPU间通信最优）
模型剪枝：结构化剪枝比非结构化更实用
非结构化剪枝（如细粒度权重置零）虽压缩率高，但无法真正提速——硬件不支持稀疏张量高效运算。工业级实践更倾向结构化剪枝：按通道（channel）、滤波器（filter）或整个注意力头裁剪，保持张量稠密，可直接被ONNX/TensorRT优化。
立即学习“Python免费学习笔记（深入）”；
- 常用策略：基于L1范数排序通道，或用BN层缩放因子（gamma）作为重要性指标
- 建议微调（fine-tuning）剪枝后模型，通常只需原训练10–20%的epoch就能恢复95%+精度
- 工具推荐：TorchPruning（轻量易集成）或nni（微软，支持自动化剪枝搜索）
- 剪枝后务必导出为ONNX并用onnx-simplifier清理冗余节点，再交给推理引擎
量化感知训练（QAT）：比训练后量化更稳
训练后量化（PTQ）简单快捷，但对分布偏移敏感，尤其小数据集或长尾任务易掉点。QAT在训练中模拟量化误差，让模型主动适应低比特表示，通常能保精度、压体积、提推理速度。
- PyTorch原生支持：用torch.quantization模块，插入
QuantStub/DeQuantStub，配置qconfig（如get_default_qat_qconfig('fbgemm')） - QAT需额外训练阶段：先正常训练→转为QAT模式→再微调10–15个epoch
- 注意BatchNorm在QAT中会融合进Conv，导出前务必调用
model.eval().fuse_model() - 最终导出INT8模型后，可用torch.jit.trace固化图结构，提升部署兼容性
不复杂但容易忽略：所有加速与压缩操作都该有基线对照。每次改动后，固定随机种子、记录GPU显存峰值、单步训练耗时、验证集指标变化——没有量化指标的优化，只是自我安慰。
