0

0

Python HTTP请求流程_requests实现原理

舞姬之光

舞姬之光

发布时间:2026-03-06 20:19:30

|

222人浏览过

|

来源于php中文网

原创

python http请求流程_requests实现原理

requests 库如何发起一次 HTTP 请求

requests 并不是直接操作 socket 的底层库,而是基于 urllib3 构建的高层封装。当你调用 requests.get("https://example.com") 时,实际流程是:构造请求对象 → 经过会话(Session)管理 → 交由 urllib3 的连接池处理 → 建立 TCP 连接(或复用已有连接)→ 发送 HTTP 报文 → 接收响应 → 解析成 Response 对象。

核心组件分工:Session、Adapter 与 urllib3

requests 的设计采用“策略模式”分离关注点:

  • Session:维护 cookies、默认 headers、认证信息、连接池配置等,支持跨请求状态保持;
  • HTTPAdapter:负责将 requests 的抽象请求映射为 urllib3 的具体行为,默认使用 HTTPAdapter,可替换为自定义适配器(如支持 SOCKS 代理或 mock 响应);
  • urllib3.PoolManager:管理连接池(每个 host+port 一个池),自动复用 TCP 连接(Keep-Alive)、处理重试、超时、SSL 验证等。

从 Request 到 Response 的关键转换环节

真正发送前,requests 会把用户传入的参数逐步标准化:

XAnswer
XAnswer

XAnswer是一款可以生成思维导图的AI搜索工具,聚合全网优质信息源,结合LLM能力和RAG技术, 为用户提供实时性的搜索结果、个性化的答案呈现。

下载
  • URL 自动拼接 base_url + path + params(params 转为 query string);
  • headers 合并默认头(如 User-Agent)和用户指定头,不区分大小写覆盖;
  • data / json 参数被序列化并设置对应 Content-Type(json 会自动加 application/json);
  • auth 参数(如 HTTPBasicAuth)被编码为 Authorization header;
  • 最终生成一个 PreparedRequest 对象,交由 Adapter.send() 执行。

响应解析与异常机制的关键逻辑

收到原始 HTTP 响应后,requests 不仅返回字节流,还做了大量隐式处理:

立即学习Python免费学习笔记(深入)”;

  • 根据 Content-Encoding 自动解压(gzip/deflate);
  • 根据 Content-Type 和响应体推测编码(fallback 到 ISO-8859-1),暴露为 .text 属性;
  • .json() 方法内部调用 json.loads(r.content.decode(r.encoding)),失败抛出 JSONDecodeError
  • 网络错误(DNS 失败、连接拒绝)抛出 ConnectionError;超时抛出 Timeout;4xx/5xx 默认不报错,需显式调用 r.raise_for_status() 触发 HTTPError

不复杂但容易忽略的底层细节

比如连接复用依赖于服务端返回 Connection: keep-aliveKeep-Alive header;默认最大连接数是 10(每个 host),可通过 pool_connectionspool_maxsize 调整;SSL 验证开启时,会校验证书链和域名匹配,禁用验证(verify=False)会触发不安全警告。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

453

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

331

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

950

2023.08.02

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

334

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

775

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

1

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号