DeepSeek模型在Linux上性能瓶颈需调优内核参数：一、禁用透明大页（THP）为never；二、设vm.swappiness=10、vm.vfs_cache_pressure=50；三、调大网络队列、禁用tcp_timestamps、切IO调度器为mq-deadline；四、用numactl绑定CPU与内存节点；五、提升ulimit文件描述符至65535。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您在Linux系统中运行DeepSeek模型时遇到性能瓶颈、内存分配异常或I/O延迟升高，很可能是内核参数未针对大模型推理负载进行适配。以下是针对性调整关键内核参数的操作步骤：
一、禁用透明大页（THP）
DeepSeek类大语言模型在高内存带宽与低延迟场景下对内存页管理极为敏感。启用透明大页（THP）会导致内存碎片化加剧、页表膨胀及NUMA迁移开销上升，显著降低推理吞吐。必须将其设为never状态。
1、执行命令临时禁用：
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2、写入系统启动配置以持久生效：
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
3、验证当前状态：
cat /sys/kernel/mm/transparent_hugepage/enabled
输出中always madvise [never]表示已成功禁用。
二、调整虚拟内存回收策略
DeepSeek加载大模型权重（如DeepSeek-V2 20B FP16约40GB）会持续占用大量page cache与anon内存。默认vm.vmscan_ratio策略易触发激进swap-out，造成推理卡顿。需降低swappiness并增强文件缓存保留能力。
1、将swappiness设为10（非零值保留基本swap容错能力）：
sudo sysctl -w vm.swappiness=10
2、提升文件缓存保留优先级：
sudo sysctl -w vm.vfs_cache_pressure=50
3、持久化配置至/etc/sysctl.conf：
echo 'vm.swappiness=10' | sudo tee -a /etc/sysctl.conf
echo 'vm.vfs_cache_pressure=50' | sudo tee -a /etc/sysctl.conf
4、重载全部配置：
sudo sysctl -p
三、优化网络与IO调度参数
当DeepSeek部署为API服务（如通过vLLM或TGI暴露HTTP端口），高并发请求会引发socket backlog积压与块设备IO竞争。需调大连接队列并切换为NOOP或MQ-DEADLINE调度器以减少延迟抖动。
1、增大全连接队列上限：
sudo sysctl -w net.core.somaxconn=65535
2、提升半连接队列容量（防SYN洪泛影响）：
sudo sysctl -w net.ipv4.tcp_max_syn_backlog=65535
3、禁用TCP时间戳（避免TSO干扰GPU Direct RDMA路径）：
sudo sysctl -w net.ipv4.tcp_timestamps=0
4、确认当前IO调度器：
cat /sys/block/nvme0n1/queue/scheduler
若输出含[mq-deadline]或[none]，则无需更改；否则执行：
echo 'mq-deadline' | sudo tee /sys/block/nvme0n1/queue/scheduler
四、NUMA绑定与内存访问优化
在多路Xeon/EPYC服务器上运行DeepSeek时，若未显式绑定CPU与内存节点，模型权重加载可能跨NUMA域访问，导致内存延迟翻倍。需结合numactl强制本地内存分配与CPU亲和。
1、查看NUMA拓扑：
numactl --hardware
2、确定GPU所在NUMA节点（例如node 0）：
nvidia-smi -q -d MEMORY | grep "NUMA Node"
3、启动DeepSeek服务时绑定至对应节点：
numactl --cpunodebind=0 --membind=0 python server.py
4、若使用Docker部署，添加运行参数：
--cpuset-cpus="0-15" --memory=32g --ulimit memlock=-1:-1 --device=/dev/nvidiactl --device=/dev/nvidia-uvm --device=/dev/nvidia0
关键提示：--membind=0确保所有malloc均从node 0内存分配，避免远程访问开销。
五、文件描述符与进程资源限制调优
DeepSeek服务在高并发长连接场景下（如千级QPS），需同时维持大量socket、日志句柄及共享内存段。系统默认ulimit常限制为1024，极易触发“Too many open files”错误。
1、临时提升当前shell限制：
ulimit -n 65535
2、对deepseek_user用户永久生效：
echo 'deepseek_user soft nofile 65535' | sudo tee -a /etc/security/limits.conf
echo 'deepseek_user hard nofile 65535' | sudo tee -a /etc/security/limits.conf
3、重启用户会话或重新登录后验证：
su - deepseek_user -c 'ulimit -n'
输出应为65535。同时检查systemd服务单元是否覆盖该限制：
sudo systemctl show -p DefaultLimitNOFILE
