0

0

Python 对象持久化的多种实现方案

冷漠man

冷漠man

发布时间:2026-02-20 17:21:11

|

256人浏览过

|

来源于php中文网

原创

该用 pickle 时仅限可信环境内部短时传递(如 multiprocessing 参数、本地调试缓存);不该用时包括网络传输、用户输入、跨版本读取或长期存储,因其存在反序列化任意代码风险及协议兼容问题。

python 对象持久化的多种实现方案

什么时候该用 pickle,什么时候不该碰它

pickle 是 Python 原生最顺手的对象序列化工具,但它的适用边界非常明确:只在可信环境内部使用。一旦涉及网络传输、跨版本读取或长期存储,pickle 就可能反咬一口。

常见错误现象:AttributeError: Can't get attribute 'X' on <module></module>——这是典型模块路径不一致导致的反序列化失败;或者用 Python 3.9 保存的对象,在 3.12 里加载时报 ValueError: unsupported pickle protocol

  • 只用于进程间短时传递(如 multiprocessing 的参数)、本地调试缓存
  • 永远不要加载来自用户输入、文件上传或网络响应的 pickle 数据——它会直接执行任意代码
  • 协议版本建议显式指定:pickle.dump(obj, f, protocol=pickle.HIGHEST_PROTOCOL),避免默认用 3 或 4 协议造成低版本兼容问题
  • 自定义类必须确保 __reduce____getstate__ 行为稳定,否则升级类定义后旧数据无法恢复

json 能存对象吗?能,但得先“扁平化”

json 本身不支持 Python 对象,它只认 dictliststrintfloatboolNone。想存对象,就得自己负责“拆解”和“组装”。

使用场景:需要跨语言读取、写入配置、记录日志结构体、前端可直读的数据缓存。

立即学习Python免费学习笔记(深入)”;

云商商城系统
云商商城系统

云商商城系统,即云商未来商城系统,云商商城系统提供完整的电子商务解决方案。云商商城系统集CMS、B2C、B2B2C、B2B、C2B、SNS用户社区于一体,包括网站商城、微信商城、手机商城等多种交易模式,支持实现不同模式的O2O电子商务平台。为企业树立企业品牌形象,实现独立网络推广,批发、零售,供应商加盟,并充分结合网站SEO、微博、APP,微信等移动客户端多渠道网络营销手段,实现线上线下统一管理,

下载
  • 别直接 json.dump(obj, f)——会报 TypeError: Object of type X is not JSON serializable
  • default= 参数处理未知类型,比如把 datetime 转成 ISO 字符串:json.dump(obj, f, default=lambda x: x.isoformat() if hasattr(x, 'isoformat') else str(x))
  • 反序列化时不能自动还原类型,得手动调用构造函数,例如 MyClass(**data) 或用 object_hook
  • 注意浮点精度:json 不保留 decimal.Decimal,也不区分 intfloat,数值全按 double 解析

SQLite + sqlite3 自带的 adapt/convert 机制

当对象结构固定、需要查询能力又不想引入 ORM 时,SQLite 是个被低估的选择。Python 的 sqlite3 模块允许注册类型适配器,让自定义类进出数据库像原生类型一样自然。

性能影响:比纯文件序列化略慢,但支持索引、WHERE 查询、事务,适合中等规模结构化持久化。

  • 注册适配器前,必须先启用类型检测:sqlite3.connect(db_path, detect_types=sqlite3.PARSE_DECLTYPES)
  • 适配器函数返回值只能是 strbytesintfloatNone,其他类型会被忽略
  • 转换器函数接收的是 bytesstr,需自行解析,比如用 json.loads 还原嵌套结构
  • 注意并发:多个连接同时写入时,SQLite 默认以文件锁阻塞,不是真正的多线程安全

dataclasses + typing 定义 schema,再选序列化后端

真正可持续的持久化,往往始于清晰的类型契约。用 @dataclass 描述数据结构,配合 typing 注解,能让后续换序列化方案、加校验、生成文档都变得简单。

容易踩的坑:有人一上来就堆 pydantic,结果发现只是存几个配置项,反而增加依赖和启动开销。

  • 轻量级场景优先用 dataclasses.asdict() + json,不引入额外依赖
  • 字段含嵌套对象?先递归转成 dict,别指望 asdict 自动处理非 dataclass 类型
  • 需要字段校验或默认值行为更健壮?再考虑 pydantic.BaseModel,但注意 v2 版本的 model_dump() 替代了旧版 dict()
  • 如果未来可能迁移到数据库,dataclass 比裸 dict 更容易映射到 ORM 模型,字段名和类型信息都在那里

复杂点不在选哪个方案,而在对象生命周期里哪一环开始失去控制:是类定义改了但旧数据没迁移?还是序列化格式变了却忘了更新读取逻辑?这些地方没有银弹,只有提前约定好谁负责兼容、谁负责报错、谁来写迁移脚本。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

442

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

591

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

105

2025.10.23

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

823

2023.08.22

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

594

2023.08.03

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

776

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号