0

0

Python requests 库的实现原理

冰川箭仙

冰川箭仙

发布时间:2026-02-17 14:41:03

|

135人浏览过

|

来源于php中文网

原创

requests 通过 urllib3 发送 http 请求,自身仅封装接口;默认启用连接池、ssl 验证和重定向,timeout 分连接与读取两阶段,session 缓存连接池、cookie 和请求头,response.content 为空常因状态码非 2xx 或响应体本为空。

python requests 库的实现原理

requests 是怎么发 HTTP 请求的

requests 本身不处理底层网络通信,它把活儿全交给了 urllib3。你调用 requests.get(),实际是组装参数后丢给 urllib3.PoolManager.request() 执行。这意味着连接复用、重试、SSL 验证这些事,真正干活的是 urllib3requests 只负责包装接口和默认行为。

  • 默认启用连接池:同一个 Session 发多次请求会复用 TCP 连接,避免重复握手开销
  • SSL 验证默认开启:访问 HTTPS 站点时自动校验证书,失败直接抛 requests.exceptions.SSLError
  • 重定向默认跟随:最多 30 次跳转,超限抛 requests.exceptions.TooManyRedirects
  • 超时默认不设:不传 timeout 参数就可能卡死,尤其在弱网或服务无响应时

Session 对象到底在缓存什么

Session 不是“记住登录态”的魔法盒子,它只缓存三样东西:连接池、Cookie、默认请求头。所谓“保持登录”,其实是服务器返回了 Set-CookieSession 自动存下来,后续请求再带上——仅此而已。

  • Cookie 存在内存里,不是持久化存储:程序退出就丢,别指望它跨进程或跨启动生效
  • 连接池按 host + port 分桶:访问 <a href="https://www.php.cn/link/710ba53b0d353329706ee1bedf4b9b39">https://www.php.cn/link/710ba53b0d353329706ee1bedf4b9b39</a><a href="https://www.php.cn/link/2f7eaf16eceec07fc19c93090e90033a">https://www.php.cn/link/2f7eaf16eceec07fc19c93090e90033a</a> 是两个独立池
  • 默认 User-Agent 是 python-requests/2.x.x:有些 API 会拦截这个 UA,需手动设 headers={'User-Agent': 'xxx'}

timeout 参数为什么总让人困惑

timeout 不是一个值,而是两个阶段的上限:(connect_timeout, read_timeout)。只传一个数字(如 timeout=5),它只控制连接建立时间,读响应仍可能无限卡住。

华友协同办公自动化OA系统
华友协同办公自动化OA系统

华友协同办公管理系统(华友OA),基于微软最新的.net 2.0平台和SQL Server数据库,集成强大的Ajax技术,采用多层分布式架构,实现统一办公平台,功能强大、价格便宜,是适用于企事业单位的通用型网络协同办公系统。 系统秉承协同办公的思想,集成即时通讯、日记管理、通知管理、邮件管理、新闻、考勤管理、短信管理、个人文件柜、日程安排、工作计划、工作日清、通讯录、公文流转、论坛、在线调查、

下载
  • timeout=5:连接必须 5 秒内建好,但服务器发回数据花 60 秒也不会超时
  • timeout=(3, 10):3 秒连不上就报错;连上了,但 10 秒内没收到完整响应也报错
  • 设成 timeout=None 或不设:读阶段彻底放弃超时控制,遇到挂起的服务就一直等
  • 常见错误现象:requests.get(url) 卡住不动 → 八成是漏了 read_timeout

为什么有时候 response.content 是空的

response.content 是原始字节,response.text 是解码后的字符串。空 content 通常不是没数据,而是响应体确实为空(比如 204 No Content),或者你误读了 response.status_code 就直接取内容。

立即学习Python免费学习笔记(深入)”;

  • 状态码非 2xx 时,很多 API 返回空 body,但 response.content 仍是 b'',不是报错
  • response.text 在编码未知时会 fallback 到 ISO-8859-1,可能导致乱码,别无脑信它
  • 流式下载场景下,如果用了 stream=Trueresponse.content 会触发整个 body 加载进内存,大文件慎用

HTTP 协议细节、SSL 握手过程、DNS 解析这些,requests 全部透传给底层库,它自己没实现任何网络栈。想调优性能或排查超时,得顺着 urllib3 和系统 socket 层去看。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6466

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

362

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

431

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

326

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

772

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

553

2023.08.03

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号