本地部署需切断网络依赖，提前下载模型并设local_files_only=true；预编译模型、启用cudnn.benchmark、避免重复设备转换、用inference_mode、优化io与序列化、异步数据搬运、关闭冗余padding，并手动打点定位瓶颈。
模型加载阶段卡顿严重
冷启动时 torch.load 或 transformers.AutoModel.from_pretrained 耗时几十秒，不是显存不足，而是默认从 Hugging Face Hub 拉权重。本地部署必须切断网络依赖。
- 把模型用
snapshot_download提前拉到本地，路径传给from_pretrained，别让它现场下载 - 加
local_files_only=True参数，防止意外回源；同时检查~/.cache/huggingface/transformers是否有残留 symlink - 用
torch.jit.trace或torch.compile（PyTorch 2.0+）预编译模型，首次推理仍慢，但后续稳定快 15–30%
单次推理耗时波动大（尤其 batch_size=1）
GPU 利用率低、TensorRT 不生效、CUDA stream 空转——本质是没让计算流水线跑起来。
- 确认是否启用了
torch.backends.cudnn.benchmark=True，它对固定 shape 输入有加速，但首次运行会多花几毫秒测 kernel - 避免在推理循环里反复调用
.to('cuda')和.half()，提前做好 device + dtype 转换 - batch_size=1 时，
torch.inference_mode()比torch.no_grad()更轻量，显存占用略低，延迟更稳
HTTP 接口层拖慢端到端延迟
用 FastAPI 或 Flask 包一层后，P99 延迟翻倍，问题常出在 JSON 序列化和同步 IO 上。
AmEav WebSite 企业网站管理系统1.0
下载
系统功能强大、操作便捷并具有高度延续开发的内容与知识管理系统，并可集合系统强大的新闻、产品、下载、投票、人才、留言、在线订购、搜索引擎优化、等功能模块，为企业部门提供一个简单、易用、开放、可扩展的企业信息门户平台或电子商务运行平台。开发人员为脆弱页面专门设计了防刷新系统，自动阻止恶意访问和攻击；安全检查应用于每一处代码中，每个提交到系统查询语句中的变量都经过过滤，可自动屏蔽恶意攻击代码，从而全面防
- 输入预处理别塞进 API handler：把
tokenizer.encode移到请求前或用tokenizers库的 Rust 版本（tokenizers.Tokenizer） - 禁用 FastAPI 的默认 JSON 响应体校验，加
response_class=Response并手动json.dumps(..., separators=(',', ':')) - 不要用
time.sleep()或logging.info()在主路径打点，日志写磁盘是同步阻塞操作
显存没爆但 GPU 利用率始终低于 30%
不是模型小，是数据搬运成了瓶颈：CPU 加载 → 预处理 → 拷贝到 GPU → 推理 → 拷回 CPU → 返回 JSON，每步都在等。
立即学习“Python免费学习笔记（深入）”；
- 用
pin_memory=True创建 DataLoader，配合non_blocking=True在.to('cuda')时异步传输 - 把 tokenizer 输出直接转成
torch.tensor(..., device='cuda')，跳过中间 CPU tensor - 如果用 Triton 推理服务器，确保
max_batch_size和preferred_batch_size匹配真实流量分布，否则小 batch 会等凑够再发
transformers 默认的 pad_to_multiple_of=8 在短文本场景反而引入冗余 padding，关掉它比调 batch size 影响更大。还有就是别信文档里“自动优化”的说法——每个 model.forward 调用前，自己 print 出 CUDA event 时间戳，才看得清哪一环真卡。 
