问题源于GPU算力分配、vLLM配置与Clawdbot调度不匹配，需五步优化：一、启用FP16+FlashAttention-2；二、按显卡调整两级并发参数；三、将KV缓存max-model-len从32768降至8192并启用enforce-eager；四、切换AWQ量化+PagedAttention；五、预加载OCR/Whisper子模型。
如果您在使用 Clawdbot 时发现响应迟缓、首字延迟高、多用户并发下请求堆积或显存频繁触顶，则问题大概率出在 GPU 算力分配不合理、vLLM 推理配置未对齐硬件特性，或 Clawdbot 调度参数未适配实际负载。以下是针对性优化步骤：
一、启用 FP16 精度与 FlashAttention-2 加速
FP16 可显著提升 GPU 计算吞吐，FlashAttention-2 则大幅降低注意力层的显存读写开销，二者协同可使端到端延迟下降 65%，且不牺牲生成质量。该组合在 Ampere 架构（RTX 30 系列起）及更新 GPU 上原生支持，无需额外编译。
1、确认当前 vLLM 版本 ≥ v0.6.3，执行 pip install --upgrade vllm 升级至最新稳定版。
2、修改 Clawdbot 的模型服务启动命令，在原有参数后追加 --dtype half --enable-flash-attn。
3、重启 vLLM 后端服务，使用 nvidia-smi 观察 GPU 利用率是否从间歇性 30% 提升至持续 70%+，同时验证首 token 延迟是否降至 350ms 以下。
二、调整 maxConcurrent 与 subagents.maxConcurrent 调度参数
Clawdbot 采用两级并发控制机制：maxConcurrent 限制单个 Agent 实例的最大并行请求数，subagents.maxConcurrent 控制其内部子任务（如 OCR、Whisper）的并发上限。默认值（4 和 8）在单卡 A100 或 RTX 4090 上易造成请求排队，而在 RTX 4060（8GB）上则可能引发 OOM。
1、进入 Clawdbot 配置目录，定位 config.yaml 文件。
2、根据显卡类型修改参数：
— 若为 RTX 4090（24GB），设 maxConcurrent: 6 与 subagents.maxConcurrent: 12；
— 若为 RTX 4060（8GB），设 maxConcurrent: 3 与 subagents.maxConcurrent: 5；
— 若为 RTX 3050（4GB），设 maxConcurrent: 1 与 subagents.maxConcurrent: 2。
3、保存后执行 clawdbot restart 重载配置，观察群聊中 15 用户并发下的平均响应时间是否稳定在 0.9 秒内。
三、精简 KV 缓存预分配长度
KV 缓存是响应速度的隐形瓶颈，vLLM 默认按 max-model-len=32768 预分配空间，导致单请求占用高达 1.8GB 显存。而实测 99.2% 的对话长度 ≤ 8192 token，强制缩减可释放 75% KV 显存，缓解碎片化压力。
1、在 vLLM 启动命令中移除默认的 --max-model-len 32768 参数。
2、替换为 --max-model-len 8192 --enforce-eager，其中 --enforce-eager 禁用图优化以避免长上下文下内存抖动。
3、重启服务后，使用 clawdbot models info 查看当前模型的 max_context_length 是否已生效为 8192，并比对 nvidia-smi 中显存占用是否下降 0.45GB/请求。
四、切换量化格式并启用 PagedAttention
Ollama 默认 Q4_K_M 量化虽节省权重体积，但对 KV 缓存无压缩效果；而 vLLM 原生支持 AWQ 量化 + PagedAttention，可在 4GB 显存设备上稳定运行 Qwen3-4B-Instruct，显存占用仅 3.6GB，且支持动态序列长度复用。
1、下载已量化模型：执行 vllm quantize --model Qwen/Qwen3-4B-Instruct --quantization awq --dtype half 生成 AWQ 权重。
2、启动 vLLM 时指定路径：--model /path/to/awq-qwen3-4b-instruct --kv-cache-dtype fp16。
3、确保 Clawdbot 配置中 model_path 指向新量化模型目录，并禁用 lazy_load（设 lazy_load: false）以规避首次请求加载延迟。
五、关闭非必要子模型的按需加载
Clawdbot 默认启用 lazy_load: true，导致首个图片请求需等待 PaddleOCR small 模型加载超 10 秒，后续请求才秒回。该策略在高并发场景下造成“静默降级”，应改为预加载关键子模型。
1、编辑 config.yaml，定位 subagents 区块。
2、将 OCR 与 Whisper 子模型的 lazy_load 字段全部设为 false。
3、在 subagents.load_on_startup 列表中显式添加 ["ocr", "whisper"]，确保服务启动时即加载这两个轻量模型。
4、重启 Clawdbot，验证首次发图请求的 OCR 响应时间是否从 >10 秒降至
