0

0

python序列化的原理和作用_数据存储、传输与状态保存机制详解

幻夢星雲

幻夢星雲

发布时间:2026-02-02 20:22:43

|

160人浏览过

|

来源于php中文网

原创

Python序列化本质是对象到字节流的保真映射,依赖__reduce__等钩子生成指令流;pickle支持复杂类型但仅限Python环境,json跨语言但类型受限;反序列化不可信pickle存在远程代码执行风险。

python序列化的原理和作用_数据存储、传输与状态保存机制详解

Python序列化本质是对象到字节流的映射规则

Python本身不直接“存储对象”,而是把内存中的对象结构(类型、属性、引用关系)按约定规则转成一串可保存或传输的bytes。核心不是压缩或加密,而是**保真还原**:反序列化后得到的对象行为和原对象一致(除部分不可序列化对象外)。这依赖于每个类型注册的__reduce____getstate__等钩子函数,pickle模块据此生成操作指令流(如“新建一个dict”“往第0个位置塞key='a'”“调用datetime.datetime构造器”)。

常见误区是认为序列化=转成JSON。其实json只支持有限类型(dictliststrintfloatboolNone),而pickle能处理lambda、类实例、文件句柄(虽不推荐)、自定义__slots__类等——代价是只能在Python环境间安全使用。

pickle还是json取决于数据用途和信任边界

跨语言传输(如Python服务给JS前端发数据)必须用json;内部微服务间状态同步、任务队列参数传递、缓存计算结果,则优先用pickle(尤其v5协议支持共享内存和大对象零拷贝)。

  • json.dumps(obj)失败时会报TypeError: Object of type X is not JSON serializable,需手动实现default参数或继承json.JSONEncoder
  • pickle.dumps(obj)遇到文件对象、线程锁、数据库连接等会抛AttributeErrorTypeError,因为这些对象无法脱离当前进程存活
  • pickle协议版本差异大:v0-v2不支持新语法(如带__slots__的类);v4起支持bytearray;v5新增out_of_band数据分离机制,适合大数据

自定义类序列化要显式控制状态边界

默认情况下pickle会尝试保存整个__dict__,但很多字段不该持久化(如临时缓存、外部连接、GUI句柄)。正确做法是实现__getstate____setstate__

立即学习Python免费学习笔记(深入)”;

Midjourney
Midjourney

当前最火的AI绘图生成工具,可以根据文本提示生成华丽的视觉图片。

下载
class CacheManager:
    def __init__(self):
        self.data = {}
        self._cache = {}  # 不该被序列化
        self._lock = threading.Lock()  # 不可序列化
def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_cache', None)
    state.pop('_lock', None)
    return state

def __setstate__(self, state):
    self.__dict__.update(state)
    self._cache = {}
    self._lock = threading.Lock()

注意:__slots__类必须在__getstate__中显式构造字典,否则pickle可能因找不到__dict__而失败;若类有C扩展属性(如NumPy数组),通常无需干预——它们已内置序列化逻辑。

反序列化是执行风险点,永远别加载不可信来源的pickle数据

pickle流本质是Python字节码指令,pickle.loads()会执行其中的类构造、方法调用甚至os.system()。攻击者可构造恶意流触发任意代码执行。生产环境必须遵守:

  • 仅从可信路径加载.pkl文件(如本地配置目录,且文件权限为600)
  • 网络传输场景改用jsonmsgpack(需确认其反序列化不执行代码)
  • 万不得已需用pickle时,用RestrictedUnpickler白名单机制限制可实例化的类

真正难处理的是“半可信”场景:比如用户上传的分析脚本附带预训练模型(.pkl)。此时不能只靠文件后缀判断,得结合签名验证+沙箱执行+资源限额——序列化本身不提供安全隔离,它只是数据载体。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

424

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

537

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

313

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

78

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

580

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

103

2025.10.23

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

523

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

546

2024.08.29

AO3官网入口与中文阅读设置 AO3网页版使用与访问
AO3官网入口与中文阅读设置 AO3网页版使用与访问

本专题围绕 Archive of Our Own(AO3)官网入口展开,系统整理 AO3 最新可用官网地址、网页版访问方式、正确打开链接的方法,并详细讲解 AO3 中文界面设置、阅读语言切换及基础使用流程,帮助用户稳定访问 AO3 官网,高效完成中文阅读与作品浏览。

89

2026.02.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号