qat精度通常高于ptq，但仅在模型对量化误差敏感（如含swish/gelu、小卷积核、尖锐输出分布）时优势明显；其本质是训练中引入可学习的模拟量化节点使模型适应噪声，需正确配置qconfig、插入fakequantize、启用observer并最终调用convert。
QAT 比 PTQ 效果好，但只在模型对量化误差敏感时才明显
QAT（Quantization-Aware Training）在绝大多数情况下比 PTQ（Post-Training Quantization）精度更高，尤其当模型含大量非线性结构（如 Swish、GeLU）、小卷积核（1×1 / 3×3）、或输出分布尖锐（如 softmax 后 logits）时。这不是因为 QAT “更高级”，而是它让模型在训练过程中“适应”了量化噪声——梯度能流经模拟量化节点，权重和激活的 scale/zero_point 实际参与优化。
实操建议：
- 先跑一遍
torch.quantization.convert（PTQ），看top1_acc是否掉点 - 如果掉点 > 1%，尤其在轻量模型（如 MobileNetV3-small、EfficientNet-Lite）上，QAT 值得投入；但别指望它把一个已过拟合的 FP32 模型“救回来”
- QAT 不是万能补丁：如果原始 FP32 模型本身
val_acc就只有 72%，QAT 很难拉到 75% 以上
QAT 的关键操作：必须插入 torch.quantization.FakeQuantize 并调用 model.qconfig
QAT 不是“训练完再量化”，而是在训练图里插入可学习的模拟量化节点。PyTorch 的核心机制是靠 qconfig 控制哪些层插入 FakeQuantize，以及用什么策略（比如 torch.quantization.default_qconfig 对称量化权重 + 非对称量化激活）。
常见错误现象：
立即学习“Python免费学习笔记（深入）”；
- 训完没调用
torch.quantization.convert(model)→ 输出仍是 float 模型，没真正量化 - 训练时忘了
model.train()后调用model.apply(torch.quantization.enable_observer)→ observer 不收集统计，scale 算不准 - 用
torch.quantization.get_default_qat_qconfig('qnnpack')却部署到 ARM CPU → 后端不支持，运行时报RuntimeError: quantized::conv2d_relu is not supported
参数差异注意：observer 类型影响最终 scale 精度（MinMaxObserver 易受 outlier 干扰，MovingAverageMinMaxObserver 更稳）；fake_quant 的 quant_min/quant_max 必须与后端一致（如 int8 要设为 -128/127）
PTQ 在无校准数据时会崩，QAT 则完全依赖训练数据质量
PTQ 需要一组 representative 数据（哪怕只是 100 张图）来校准 activation 的分布；没有它，torch.quantization.calibrate 会用初始 batch 的 min/max 直接定 scale，极易被异常值带偏。QAT 不需要单独校准，但它把所有压力转移到训练数据上：如果训练集里缺乏边缘 case（比如低光照、模糊、小目标），QAT 模型在这些场景下的量化误差会放大，甚至比 PTQ 更差。
使用场景判断：
- 你有完整训练 pipeline 和算力 → 优先试 QAT，但记得用验证集 early stopping，防止过拟合量化噪声
- 你只有冻结模型 + 50 张测试图 → 只能 PTQ，且务必用
torch.quantization.MovingAverageMinMaxObserver多跑几轮 batch，别信单次calibrate - 你用
torchvision.models.quantization里的预置模型（如mobilenet_v2_quantize）→ 它们本质是 PTQ，别误以为是 QAT
QAT 模型导出后不等于“能直接跑”，backend 兼容性比想象中更脆
PyTorch QAT 训练完得到的是一个 fake-quant 模型，torch.quantization.convert 后生成的是真正的 int8 模型，但它的算子支持高度依赖 backend。比如 quantized::linear 在 qnnpack 下可用，在 fbgemm 下可能报错；某些 fused op（如 quantized::conv2d_relu）在 ONNX 导出时会被拆成多个节点，导致推理引擎无法识别。
性能与兼容性影响：
- 用
torch.backends.quantized.engine = 'qnnpack'训练，就别想在服务器上用fbgemm加速 —— scale/zero_point 初始化逻辑不同，结果不一致 - 导出 ONNX 时，必须用
torch.onnx.export(..., operator_export_type=torch.onnx.OperatorExportTypes.ONNX_ATEN_FALLBACK)，否则quantized::算子会丢失 - TensorRT 8.6+ 支持 PyTorch QAT 导出的 ONNX，但要求所有
Conv2d的padding是 tuple，不能是 int；否则解析失败，报Assertion failed: tensors.count(outputName)
最常被忽略的一点：QAT 模型的 forward 里如果有 Python 控制流（如 if x.sum() > 0:），torch.quantization.convert 会静默跳过该分支的量化，运行时可能触发 float fallback，精度骤降且难以 debug
