优先选用vLLM、TGI或llama.cpp等专为推理优化的框架；合理设置max_new_tokens（256–512）、temperature（0.6–0.8）、top_p（0.9）、repetition_penalty（1.1–1.2）；启用KV Cache与连续批处理；结合AWQ/GPTQ/llama.cpp量化适配硬件。
选择合适的大模型推理框架
直接用 PyTorch 加载大模型做推理，容易内存爆满、速度慢。推荐优先使用专为推理优化的框架：比如 vLLM（支持 PagedAttention、连续批处理）、Text Generation Inference（TGI）（Hugging Face 官方推荐，Docker 部署友好）、或轻量级的 llama.cpp（纯 C/C++ 实现，CPU/GPU 通吃，量化后可在 MacBook 上跑 Llama-3-8B）。选型关键看你的硬件和场景——GPU 显存充足且要高并发？vLLM 是首选；想快速试跑小模型又没 GPU？llama.cpp + GGUF 量化模型更实在。
合理设置生成参数，避免卡顿与幻觉
生成质量不只靠模型本身，参数调得不对，再大的模型也容易胡说或卡死。重点关注这几个：
- max_new_tokens：别设太大，尤其对话场景，256–512 足够；设过高不仅拖慢响应，还可能让模型在末尾反复重复
- temperature：0.6–0.8 适合平衡创意与稳定；生产环境建议 ≤0.7，避免无意义发散
- top_p：0.9 左右较稳妥；比 top_k 更自然，能动态控制采样范围
- repetition_penalty：1.1–1.2 可缓解重复输出，但别超过 1.3，否则易导致生成中断或乱码
启用 KV Cache 与批处理提升吞吐
大模型每次 decode 都要重算所有历史 token 的 Key/Value，开销极大。现代推理框架默认开启 KV Cache 复用，但要注意两点：
- 确保输入 prompt 不频繁变动长度——突增长 prompt 会清空 cache，降低效率
- 用 vLLM 或 TGI 时，主动开启 continuous batching（连续批处理），它能自动合并多个请求的 decode 步骤；实测 4 个并发请求，吞吐可比串行高 3 倍以上
- 如果自己写推理逻辑，务必手动缓存 past_key_values，并复用到下一轮 generate 中，不要每次从头 run model.forward
模型量化与硬件适配不可跳过
原生 FP16 的 Llama-3-70B 占显存超 140GB，根本没法单卡跑。必须量化：
立即学习“Python免费学习笔记（深入）”；
