0

0

SQLAlchemy 批量插入时正确获取自动生成时间戳的完整方案

心靈之曲

心靈之曲

发布时间:2025-12-30 15:49:26

|

646人浏览过

|

来源于php中文网

原创

SQLAlchemy 批量插入时正确获取自动生成时间戳的完整方案

本文详解在 sqlalchemy 中使用 `bulk_save_objects` 进行高效批量插入时,如何确保 `created_at`/`updated_at` 等数据库默认时间字段被正确回填并返回,同时对比 `add_all` 与 `bulk_save_objects` 的适用场景及性能差异。

在 Flask + MySQL 应用中,批量插入大量记录(如学生成绩)时,为兼顾性能与数据完整性,开发者常面临一个关键矛盾:bulk_save_objects 虽然执行快、网络开销小,但默认不触发 ORM 层的默认值处理逻辑(如 server_default 和 onupdate),导致 created_at/updated_at 字段在 Python 对象中仍为 None;而 add_all() + commit() 虽能自动填充这些字段,却因逐条注册和 flush 开销,在大数据量下显著拖慢性能。

✅ 正确解法:bulk_save_objects + return_defaults=True + 显式 flush

核心要点是:仅设置 return_defaults=True 不够,必须配合 session.flush()(而非 commit())才能将数据库生成的默认值同步回 Python 对象实例。
db.session.commit() 会提交事务,但 return_defaults 的值回填发生在 flush 阶段 —— 即 SQL 发送至数据库并收到响应后立即完成。若跳过 flush 直接 commit,对象状态未更新,created_at/updated_at 仍为空。

以下是修正后的推荐实现:

from sqlalchemy import exc

@staticmethod
def create_student_scores(
    student_scores: list[StudentScore],
) -> list[StudentScore]:
    # 构建模型实例列表(不设 created_at/updated_at,交由 DB 填充)
    student_scores_model: list[StudentScoresModel] = [
        StudentScoresModel(
            id=str(uuid.uuid4()),
            student_id=ss.student_id,
            attribute_id=ss.attribute_id,
            score=ss.score,
        ) for ss in student_scores
    ]

    try:
        # 关键步骤:bulk_save_objects + return_defaults=True + flush()
        db.session.bulk_save_objects(student_scores_model, return_defaults=True)
        db.session.flush()  # ← 必须!使 server_default 值写回对象属性

        # 此时所有 student_scores_model[i].created_at / updated_at 已为 datetime 实例
        return [
            model.convert_to_entity() 
            for model in student_scores_model
        ]
    except exc.SQLAlchemyError as e:
        db.session.rollback()
        raise e
⚠️ 注意事项:return_defaults=True 仅对 server_default(如 func.now())、default(Python 端默认值)及主键自增生效;onupdate 仅在后续更新时触发,首次插入时 updated_at 与 created_at 均由 server_default 填充。MySQL 中 func.now() 在 server_default 下是服务端时间,确保一致性;避免使用 default=func.now()(客户端时间,易偏差)。bulk_save_objects 不调用 __init__ 或事件钩子(如 @event.listens_for(..., 'before_insert')),如有依赖 ORM 事件的逻辑,需改用 add_all + bulk_insert_mappings 或分批处理。

❌ 为什么 add_all() + commit() 不是最佳选择?

虽然以下写法能自动填充时间字段:

拍我AI
拍我AI

AI视频生成平台PixVerse的国内版本

下载
db.session.add_all(student_scores_model)
db.session.commit()  # created_at/updated_at 自动可用

但它本质是 N 条 INSERT 语句(或受 bulk_insert_mappings 优化为多值 INSERT),且每条记录都经历完整 ORM 生命周期(state tracking、dirty checking、event dispatch)。当插入 10,000+ 记录时,内存占用和 CPU 开销远高于 bulk_save_objects,实测性能可能下降 3–5 倍。

✅ 替代高性能方案:bulk_insert_mappings

若模型字段较固定、无需实例方法(如 convert_to_entity),可进一步提升性能:

mappings = [
    {
        "id": str(uuid.uuid4()),
        "student_id": ss.student_id,
        "attribute_id": ss.attribute_id,
        "score": ss.score,
    }
    for ss in student_scores
]
db.session.bulk_insert_mappings(StudentScoresModel, mappings, return_defaults=True)
db.session.flush()  # 同样必须 flush 才能取回默认值

bulk_insert_mappings 绕过模型实例化,直接构造 SQL,是纯批量插入的最快路径,适合 ETL 或日志类场景。

总结

方法 性能 默认值回填 ORM 事件支持 推荐场景
bulk_save_objects(..., return_defaults=True) + flush() ★★★★★ ✅(需 flush) 通用首选:需实例方法 + 高性能
bulk_insert_mappings(..., return_defaults=True) + flush() ★★★★★★ ✅(需 flush) 纯数据导入、字段简单
add_all() + commit() ★★☆ ✅(自动) 小批量(

牢记:return_defaults=True 是开关,flush() 是执行器——二者缺一不可,方能在高性能前提下,完整获得数据库生成的时间戳。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

1133

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

381

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2152

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

380

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1663

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

585

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

440

2024.04.29

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2.5万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 847人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号