0

0

Python I/O 密集与 CPU 密集的区分

冷漠man

冷漠man

发布时间:2026-01-18 20:03:52

|

758人浏览过

|

来源于php中文网

原创

Python中I/O密集型任务以等待外部资源为主、CPU利用率低,适合多线程或asyncio;CPU密集型任务持续占用CPU、利用率近100%,应选多进程或C扩展。

python i/o 密集与 cpu 密集的区分

Python 中 I/O 密集型和 CPU 密集型任务的核心区别在于:程序执行时的“等待”与“计算”占比不同。I/O 密集型任务大部分时间在等磁盘读写、网络响应或用户输入;CPU 密集型任务则持续占用 CPU 进行数学运算、数据处理或循环计算,几乎不等待外部资源。

I/O 密集型任务的典型特征

这类任务常因等待外部设备而空闲,CPU 利用率低(通常低于 30%),但整体耗时长。常见场景包括:

  • 读写文件(尤其是大文件逐块处理)
  • 发起 HTTP 请求并等待响应(如调用 API、爬网页)
  • 数据库查询(含连接、发送语句、接收结果)
  • 用户输入等待(input())、串口通信、socket 收发

它们适合用多线程(threading)或异步 I/O(asyncio)提升并发效率——因为 GIL 在 I/O 等待时会自动释放,线程可切换执行其他任务。

CPU 密集型任务的典型特征

这类任务持续压榨 CPU,几乎没有等待,CPU 利用率接近 100%,且单线程跑满一个核心。常见场景包括:

立即学习Python免费学习笔记(深入)”;

Programming Helper
Programming Helper

AI代码自动生成器,在AI的帮助下更快地编程

下载
  • 大量数值计算(如矩阵乘法、科学计算、加密解密)
  • 遍历/排序超大数据集(纯内存操作,无磁盘或网络)
  • 图像处理(如 OpenCV 滤波、缩放)、视频帧编码
  • 递归求解(如深度搜索、斐波那契暴力实现)

它们不适合多线程(GIL 会限制并发),应优先使用多进程(multiprocessing)或借助 C 扩展(如 NumPy 底层已绕过 GIL)来真正并行。

如何快速判断你的代码属于哪一类?

不用猜,用工具看实际行为:

  • 运行时观察 top 或任务管理器:CPU 占用高 + 磁盘/网络活动低 → CPU 密集;CPU 占用低 + 频繁磁盘读写或网络收发 → I/O 密集
  • psutil 在代码中监控:psutil.cpu_percent()psutil.disk_io_counters() 对比变化趋势
  • 加日志:在关键 I/O 调用前后打时间戳,若大部分耗时落在 time.sleeprequests.getopen().read() 等调用里,就是 I/O 密集

选错并发模型的后果很直接

对 CPU 密集任务用多线程,性能可能不如单线程(线程切换开销白费);对 I/O 密集任务用多进程,反而浪费内存且启动慢。简单记:

  • I/O 密集 → 多线程 / asyncio
  • CPU 密集 → 多进程 / numba / Cython / Rust 扩展

真实项目往往混合两类操作,可拆分逻辑:用多进程处理计算块,再用线程或协程调度 I/O 部分。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
C++系统编程内存管理_C++系统编程怎么与Rust竞争内存安全
C++系统编程内存管理_C++系统编程怎么与Rust竞争内存安全

C++系统编程中的内存管理是指 对程序运行时内存的申请、使用和释放进行精细控制的机制,涵盖了栈、堆、静态区等不同区域,开发者需要通过new/delete、智能指针或内存池等方式管理动态内存,以避免内存泄漏、野指针等问题,确保程序高效稳定运行。它核心在于开发者对低层内存有完全控制权,带来灵活性,但也伴随高责任,是C++性能优化的关键。

13

2025.12.22

Rust异步编程与Tokio运行时实战
Rust异步编程与Tokio运行时实战

本专题聚焦 Rust 语言的异步编程模型,深入讲解 async/await 机制与 Tokio 运行时的核心原理。内容包括异步任务调度、Future 执行模型、并发安全、网络 IO 编程以及高并发场景下的性能优化。通过实战示例,帮助开发者使用 Rust 构建高性能、低延迟的后端服务与网络应用。

10

2026.02.11

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

225

2026.03.05

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

32

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

29

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

103

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号