0

0

本地部署DeepSeek-R1(Dify压力测试和性能调优)

P粉390130307

P粉390130307

发布时间:2025-06-20 16:38:02

|

844人浏览过

|

来源于php中文网

原创

安装压力测试工具

为了更高效地进行测试,建议在局域网设备上操作。我使用的是一台局域网中的ubuntu服务器,并安装了wrk作为压测工具。

apt install wrk

编写测试脚本

为了方便,我在 /root 目录下创建了一个 Lua 脚本:

vim test.lua

脚本内容如下,请将 app-xxxx 替换为你自己的 API 密钥:

wrk.method = "POST"
wrk.body = '{"inputs":{"query":"1"},"response_mode":"streaming","user":"dcf压测"}'
wrk.headers["Content-Type"] = "application/json"
wrk.headers["Authorization"] = "Bearer app-08mesPqsdYfybwN6iIjyVcji"

创建测试工作流

我新建了一个空的工作流,仅返回 user_id,不引入大模型,以避免额外的延迟。

API 密钥可在相关设置中创建。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

本地部署DeepSeek-R1(Dify压力测试和性能调优)

开始压测

执行以下命令开始测试:

wrk -t50 -c200 -d20s -s test.lua --timeout 10s --latency http://192.168.11.119/v1/workflows/run

【使用50个线程,200个连接,持续20秒,请求工作流接口10秒】
平均延迟:251.70毫秒,最大延迟:1.79秒,QPS:每秒851次

本地部署DeepSeek-R1(Dify压力测试和性能调优)

性能优化调整

调整工作进程数量参数 SERVER_WORKER_AMOUNT,默认值为1,官方推荐公式为:CPU核心数*2+1

我的服务器配置是64核CPU、256G内存。尝试设置为129时,Dify反应迟缓,于是我改为65(每次修改 .env 文件后需重启 Dify)。

将默认值1适当调大,参考公式:CPU核心数*2+1

SERVER_WORKER_AMOUNT=65

本地部署DeepSeek-R1(Dify压力测试和性能调优)

腾讯AI 开放平台
腾讯AI 开放平台

腾讯AI开放平台

下载

再次进行压测,性能明显提升:

本地部署DeepSeek-R1(Dify压力测试和性能调优)

虽然性能提升了,但发现 Dify 中的所有应用均报错:Internal Server Error

本地部署DeepSeek-R1(Dify压力测试和性能调优)

同时出现了大量非2XX和3XX响应码,因此需要调整连接池大小,防止连接数超限。

我将 SQLALCHEMY_POOL_SIZEPOSTGRES_MAX_CONNECTIONSSQLALCHEMY_MAX_OVERFLOW 这三个参数统一设置为3000,默认值分别为30、100,是否可以超过根据实际情况判断。

SQLALCHEMY_POOL_SIZE=3000
POSTGRES_MAX_CONNECTIONS=3000
# 注意默认.env文件中没有 SQLALCHEMY_MAX_OVERFLOW 参数,需手动添加
SQLALCHEMY_MAX_OVERFLOW=3000

重启 Dify 后再次测试,单次测试处理了1700+个请求:

本地部署DeepSeek-R1(Dify压力测试和性能调优)

相关专题

更多
scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

188

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

291

2023.10.25

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1072

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

127

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

859

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

13

2026.01.19

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1072

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

127

2025.10.17

c++ 根号
c++ 根号

本专题整合了c++根号相关教程,阅读专题下面的文章了解更多详细内容。

25

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 4.1万人学习

Pandas 教程
Pandas 教程

共15课时 | 1.0万人学习

ASP 教程
ASP 教程

共34课时 | 4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号