剪枝不加速因边缘引擎默认不利用稀疏性；需结构化剪枝+运行时支持稀疏kernel；量化前须 propagate_qconfig 并为各子模块设 qconfig，qat 中注意 train/eval 模式切换。
模型剪枝后 torch.nn.Conv2d 层权重变稀疏，但部署到边缘设备没提速？
剪枝本身不等于加速——多数边缘推理引擎（如 TFLite、ONNX Runtime for ARM）默认不利用稀疏权重，prune.l1_unstructured 或 prune.random_structured 产生的稀疏张量仍按稠密方式加载和计算。
真正起效的前提是：目标运行时支持结构化剪枝 + 后端启用稀疏 kernel。例如 TVM 可识别 prune.custom_from_mask 导出的掩码并生成跳过零块的调度，但 Raspberry Pi 上的 NCNN 就完全忽略稀疏性。
- 优先用
prune.ln_structured（n=2），保证通道级剪枝，便于编译器做 channel-wise 消除 - 剪枝后必须调用
prune.remove，否则model.state_dict()里仍是带_mask的伪稀疏参数 - 导出前用
torch.jit.trace而非torch.jit.script，后者可能保留未被剪掉的分支逻辑
量化时 torch.quantization.convert 报错 AttributeError: 'ConvBn2d' object has no attribute 'qconfig'
这是典型流程断点：PyTorch 量化要求模型先经过 torch.quantization.prepare 插入 observer，而 observer 依赖各子模块显式设置了 qconfig。没设或设在错误位置（比如只设了 model.qconfig，但没递归设到 model.features[0].conv），就会在 convert 阶段崩。
- 别只在顶层调
model.qconfig = get_default_qconfig('fbgemm')，补上torch.quantization.propagate_qconfig_(model) - 自定义模块（如含
nn.Sequential嵌套）要手动遍历子模块，对每个Conv2d/Linear单独赋qconfig - 如果用
QAT，训练中必须调model.train()，否则 observer 不更新；转推理前必须model.eval()，否则convert会跳过部分模块
INT8 量化后精度掉太多，torch.quantization.default_observer 不适合小数据集
默认 observer 基于滑动窗口统计激活值分布，小样本（
立即学习“Python免费学习笔记（深入）”；
- 换用
MinMaxObserver（静态范围），在 calibration 阶段跑满一个 mini-batch（建议 ≥128 样本）再冻结统计 - 对输出层（如分类 head）单独禁用量化：
model.classifier[1].qconfig = None，避免 softmax 输入畸变 - 如果输入是 uint8 图像（OpenCV 默认），别直接喂给量化模型——先转 float32 再归一化，否则
quantize_per_tensor会把 0–255 当作原始范围误算
导出为 ONNX 后在边缘设备上 RuntimeError: Unsupported data type: int8
ONNX 标准本身支持 INT8，但具体执行器是否支持，取决于算子版本和 backend 实现。比如 ONNX Runtime 1.10+ 的 ARM64 CPU provider 才开始实验性支持 QLinearConv，而旧版只认 Conv + 外挂 quantize/dequantize node。
- 导出时加
do_constant_folding=True，否则量化参数可能以 placeholder 形式残留，导致 runtime 解析失败 - 避开
torch.quantization.quantize_dynamic，它生成的 ONNX 没有真实量化算子，只是 float32 模拟，边缘设备无法识别 - 用
onnx.checker.check_model验证后，再用onnx.shape_inference.infer_shapes补全 tensor shape，某些轻量 runtime（如 MNN）依赖 shape 推断做内存预分配
边缘设备上模型优化不是“剪完再量化”就能跑通，每一步都卡在软硬协同的缝隙里：剪枝结构得匹配硬件访存模式，量化 scale 得贴合实际输入分布，导出格式得对齐 runtime 的算子支持表。漏掉任意一环，模型体积小了，但延迟反而更高。
