0

0

Python requests.get 响应编码不一致问题的根源与解决方案

心靈之曲

心靈之曲

发布时间:2026-01-21 21:32:24

|

869人浏览过

|

来源于php中文网

原创

Python requests.get 响应编码不一致问题的根源与解决方案

python requests.get 响应编码不一致问题的根源与解决方案:`requests.get()` 返回乱码或编码不一致,常因服务器启用 brotli(br)压缩但 `requests` 默认未解压所致;需安装 `brotli` 或 `brotlicffi` 并确保 `accept-encoding` 头兼容,才能正确解码 utf-8 内容。

在使用 requests 库抓取网页时,你可能会遇到 response.text 输出忽而可读、忽而显示乱码(如大量符号或非 ASCII 字符)的现象,即使 response.encoding 显示为 'utf-8',内容仍不可用。这并非字符编码声明错误,而是响应体实际被压缩但未被正确解压导致的典型问题。

关键线索藏在响应头中:

print(page.headers.get('Content-Encoding'))  # 输出: 'br'

'br' 表示服务器使用了 Brotli 压缩算法——一种比 Gzip 更高效、现代的压缩方式。而 requests(截至 v2.31.0+)默认不支持 Brotli 解压,除非显式安装兼容解压库。

✅ 正确做法如下:

立即学习Python免费学习笔记(深入)”;

Q.AI视频生成工具
Q.AI视频生成工具

支持一分钟生成专业级短视频,多种生成方式,AI视频脚本,在线云编辑,画面自由替换,热门配音媲美真人音色,更多强大功能尽在QAI

下载
  1. 安装 Brotli 支持(任选其一):

    pip install brotli
    # 或(推荐用于 C 扩展性能)
    pip install brotlicffi
  2. 设置合理的 Accept-Encoding 请求头(显式声明支持 gzip,并避免强制要求 br,因 requests 自动协商时若未装 Brotli 库,可能仍收到 br 响应却无法处理):

    import requests
    
    HEADERS = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
        'Accept-Language': 'en-US,en;q=0.9',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',  # ✅ 明确排除 'br',避免不可控压缩
    }
    
    page = requests.get('https://www.powerball.com/', headers=HEADERS)
    print("Encoding:", page.encoding)  # 通常自动推断为 utf-8
    print("Text preview:", page.text[:200])

⚠️ 注意事项:

  • 即使安装了 brotli,若 Accept-Encoding 中包含 'br',requests 会尝试自动解压;但某些旧版本或环境可能存在兼容性问题,稳妥起见建议主动排除 'br'
  • 不要依赖 page.text 的原始输出判断编码是否正确——应优先检查 page.content(原始字节)是否能用 page.encoding 正确解码:
    try:
        decoded = page.content.decode(page.encoding or 'utf-8')
        print("Decoded successfully")
    except UnicodeDecodeError:
        print("Decoding failed — likely compression or encoding mismatch")
  • 若仍出现异常,可强制指定编码(仅限确认页面真实编码为 UTF-8 时):
    page.encoding = 'utf-8'
    print(page.text)

总结:requests 的编码“不稳定”表象背后,本质是传输层压缩未被识别或解压失败。解决核心在于——安装 Brotli 支持库 + 合理约束 Accept-Encoding 头。二者结合,即可稳定获取正确解码的 UTF-8 文本,彻底告别随机乱码。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
常见的编码方式
常见的编码方式

常见的编码方式有ASCII编码、Unicode编码、UTF-8编码、UTF-16编码、GBK编码等。想了解更多编码方式相关内容,可以阅读本专题下面的文章。

647

2023.10.24

a和A对应的ASCII码数值
a和A对应的ASCII码数值

a的ascii码是65,a的ascii码是97;ascii码表中,一个字母的大小写数值相差32,一般知道大写字母的ascii码数值,其对应的小写字母的ascii码数值就算出来了,是大写字母的ascii码数值“+32”。想了解更多相关的内容,可阅读本专题下面的相关文章。

2249

2024.10.24

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

494

2023.08.14

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

22

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

48

2026.03.09

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

93

2026.03.06

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

216

2026.03.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

412

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

143

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号