0

0

如何利用Python的异步和定时任务来提高程序的并发性和执行效率?

WBOY

WBOY

发布时间:2023-05-09 17:25:16

|

1267人浏览过

|

来源于亿速云

转载

异步任务和定时任务

对于 web 应用中的一些操作,它们可能需要较长时间才能完成,或者它们的执行时间无法确定。对于这些操作,如果用户只需要知道服务器已经接收到了请求,而不需要立即得到请求的执行结果,那么我们就可以将它们进行异步化处理。如果说使用缓存是优化网站性能的第一要义,那么将耗时或执行时间不确定的任务异步化则是网站性能优化的第二要义。简单来说,能够推迟做的事情都不应该马上去做。

在上一章节中,我们以发送短信和上传文件到云存储为例。这两个操作中,前者属于时间不确定的操作(因为作为调用者,我们无法确定三方平台响应的时间),后者属于耗时的操作(如果文件较大或者三方平台不稳定,都可能导致上传的时间较长)。很显然,这两个操作都可以进行异步化处理。

在 Python 项目中,我们可以使用多线程或借助三方库 Celery 来实现异步化处理。

使用Celery实现异步化

Celery 是一个 Python 的异步任务队列/消息队列,它可以很方便地完成异步任务的处理。使用 Celery 可以将任务分发到多个任务执行者中,任务执行者可以是单个进程或多个进程、多个主机。Celery 还支持任务的优先级、任务结果的保存、任务的重试等功能。

使用 Celery 实现异步化需要以下步骤:

立即学习Python免费学习笔记(深入)”;

安装 Celery

pip install celery

在项目中创建一个 Celery 应用

from celery import Celery
app = Celery('tasks', broker='pyamqp://guest@localhost//')

定义任务

@app.task
def add(x, y):
    return x + y

在项目中调用任务

result = add.delay(4, 4)
print(result.get(timeout=1))

使用多线程实现异步化

Python 中的 threading 模块可以用来创建多线程。使用多线程可以将耗时的任务放在新线程中执行,从而不会影响主线程的执行。

使用多线程实现异步化需要以下步骤:

导入 threading 模块

import threading

定义一个函数作为任务

def task():
    print('Hello from task')

创建一个新线程并启动它

t = threading.Thread(target=task)
t.start()

定时任务

有些任务需要在特定的时间执行,这时候我们需要使用定时任务。Python 中有多个第三方库可以用来实现定时任务,如 scheduleAPScheduler 等。下面以 APScheduler 为例来讲解如何实现定时任务。

使用 APScheduler 实现定时任务需要以下步骤:

安装 APScheduler

pip install apscheduler

导入 APScheduler 模块

from apscheduler.schedulers.blocking import BlockingScheduler

创建一个 BlockingScheduler 实例并添加任务

def task():
    print('Hello from task')
scheduler = BlockingScheduler()
scheduler.add_job(task, 'interval', seconds=5)
scheduler.start()

上述代码会每隔 5 秒执行一次 task 函数。

Celery和多线程的比较

虽然 Celery 和多线程都可以实现异步化处理,但是它们之间存在一些差异和优缺点。

佳蓝在线销售系统(创业版) 佳蓝在线销售
佳蓝在线销售系统(创业版) 佳蓝在线销售

1、对ASP内核代码进行DLL封装,从而大大提高了用户的访问速度和安全性;2、采用后台生成HTML网页的格式,使程序访问速度得到进一步的提升;3、用户可发展下级会员并在下级购买商品时获得差额利润;4、全新模板选择功能;5、后台增加磁盘绑定功能;6、后台增加库存查询功能;7、后台增加财务统计功能;8、后台面值类型批量设定;9、后台财务曲线报表显示;10、完善订单功能;11、对所有传输的字符串进行安全

下载

Celery的优缺点

优点:

  • 可以将任务分发到多个任务执行者中,从而实现任务的负载均衡,提高任务处理的效率。

  • 支持任务的优先级、任务结果的保存、任务的重试等功能。

  • 支持多种消息传输协议,如 AMQP、Redis、RabbitMQ 等。

  • 可以方便地集成到 Django、Flask 等 Web 框架中。

缺点:

  • 安装和配置过程可能会比较繁琐。

  • 可能会增加系统的复杂性。

多线程的优缺点

优点:

  • 实现起来比较简单,不需要安装额外的库。

  • 可以在本地机器上快速地完成任务处理。

缺点:

  • 不能将任务分发到多个任务执行者中,从而无法实现任务的负载均衡。

  • 无法方便地实现任务的优先级、任务结果的保存、任务的重试等功能。

  • 可能会导致系统的性能下降,因为多线程的并发性能有限。

定时任务的选择

在 Python 中,有多个第三方库可以用来实现定时任务,如 scheduleAPScheduler 等。这些库都有各自的优缺点,我们可以根据具体需求选择合适的库来实现定时任务。

schedule库

  • 简单易用,只需要调用 schedule 函数即可实现定时任务。

  • 不能实现任务的负载均衡和任务的并发执行。

APScheduler库

  • 支持多种调度器,如 BlockingScheduler、BackgroundScheduler、AsyncIOScheduler 等。

  • 支持多种触发器,如 date、interval、cron、interval_from_last 等。

  • 支持任务的并发执行和负载均衡。

  • 可以方便地集成到 Django、Flask 等 Web 框架中。

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Java编译相关教程合集
Java编译相关教程合集

本专题整合了Java编译相关教程,阅读专题下面的文章了解更多详细内容。

9

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

3

2026.01.21

无人机驾驶证报考 uom民用无人机综合管理平台官网
无人机驾驶证报考 uom民用无人机综合管理平台官网

无人机驾驶证(CAAC执照)报考需年满16周岁,初中以上学历,身体健康(矫正视力1.0以上,无严重疾病),且无犯罪记录。个人需通过民航局授权的训练机构报名,经理论(法规、原理)、模拟飞行、实操(GPS/姿态模式)及地面站训练后考试合格,通常15-25天拿证。

15

2026.01.21

Python多线程合集
Python多线程合集

本专题整合了Python多线程相关教程,阅读专题下面的文章了解更多详细内容。

1

2026.01.21

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

3

2026.01.21

windows激活码分享 windows一键激活教程指南
windows激活码分享 windows一键激活教程指南

Windows 10/11一键激活可以通过PowerShell脚本或KMS工具实现永久或长期激活。最推荐的简便方法是打开PowerShell(管理员),运行 irm https://get.activated.win | iex 脚本,按提示选择数字激活(选项1)。其他方法包括使用HEU KMS Activator工具进行智能激活。

2

2026.01.21

excel表格操作技巧大全 表格制作excel教程
excel表格操作技巧大全 表格制作excel教程

Excel表格操作的核心技巧在于 熟练使用快捷键、数据处理函数及视图工具,如Ctrl+C/V(复制粘贴)、Alt+=(自动求和)、条件格式、数据验证及数据透视表。掌握这些可大幅提升数据分析与办公效率,实现快速录入、查找、筛选和汇总。

6

2026.01.21

毒蘑菇显卡测试网站入口 毒蘑菇测试官网volumeshader_bm
毒蘑菇显卡测试网站入口 毒蘑菇测试官网volumeshader_bm

毒蘑菇VOLUMESHADER_BM测试网站网址为https://toolwa.com/vsbm/,该平台基于WebGL技术通过渲染高复杂度三维分形图形评估设备图形处理能力,用户可通过拖动彩色物体观察画面流畅度判断GPU与CPU协同性能;测试兼容多种设备,但中低端手机易卡顿或崩溃,高端机型可能因发热降频影响表现,桌面端需启用独立显卡并使用支持WebGL的主流浏览器以确保准确结果

17

2026.01.21

github中文官网入口 github中文版官网网页进入
github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started,GitHub 是一种基于云的平台,可在其中存储、共享并与他人一起编写代码。 通过将代码存储在GitHub 上的“存储库”中,你可以: “展示或共享”你的工作。 持续“跟踪和管理”对代码的更改。

7

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 10.1万人学习

Django 教程
Django 教程

共28课时 | 3.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号