0

0

sqlalchemy 如何写“批量插入忽略冲突”并返回插入行数

舞姬之光

舞姬之光

发布时间:2026-01-31 13:58:34

|

495人浏览过

|

来源于php中文网

原创

PostgreSQL用on_conflict_do_nothing需加returning才能准确获取插入行数,rowcount返回实际插入数;MySQL的INSERT IGNORE的rowcount包含被忽略行;SQLite的rowcount恒为-1,须用前后计数差。

sqlalchemy 如何写“批量插入忽略冲突”并返回插入行数

PostgreSQL 用 on_conflict_do_nothing 获取实际插入行数

PostgreSQL 是少数原生支持“忽略冲突并返回影响行数”的数据库。SQLAlchemy 1.4+ 通过 on_conflict_do_nothing 实现,但关键点在于:必须显式启用 returning 并调用 scalars().all()fetchall(),否则 SQLAlchemy 默认不拉取结果集,rowcount 会是 -1。

实操建议:

  • 使用 insert(...).on_conflict_do_nothing(index_elements=[...])index_elements 必须匹配唯一约束或索引字段(如 ['user_id']),不能写主键名 id 除非该列有唯一索引
  • .returning(table.c.id)(哪怕只为了占位)才能触发 PostgreSQL 返回受影响行;不加则 execute().rowcount 不可靠
  • 执行后用 result.rowcount 得到插入行数(不是返回值长度),这是最轻量方式;若还需新插入的 ID,再用 result.scalars().all()
from sqlalchemy.dialects.postgresql import insert

stmt = insert(User).values(users_data) stmt = stmt.on_conflict_do_nothing(index_elements=['email']) result = conn.execute(stmt.returning(User.id)) print("实际插入行数:", result.rowcount) # ✅ 正确

MySQL 用 INSERT IGNOREREPLACE INTO 的 rowcount 行为差异

MySQL 没有标准 ON CONFLICT,SQLAlchemy 不直接封装 INSERT IGNORE,需手动拼语句或用 prefix_with。更关键的是:rowcount 含义和 PostgreSQL 不同——INSERT IGNORErowcount 包含被忽略的行,而 REPLACE INTO 是“删+插”,rowcount 可能为 2(删 1 + 插 1)。

实操建议:

  • insert(...).prefix_with("INSERT IGNORE"),但注意:SQLAlchemy 会把 prefix_with 当作字符串拼接,不校验语法,出错只能靠运行时报错
  • 执行后 result.rowcount 是“尝试插入的总行数”,无法直接分离“成功插入数”;若要精确计数,得先查已有 key,再做差集,再插入
  • 避免用 REPLACE INTO,它会触发删除动作,可能破坏外键或触发器,且 rowcount 不反映“净新增”
stmt = insert(User).values(users_data).prefix_with("INSERT IGNORE")
result = conn.execute(stmt)
# result.rowcount == len(users_data),不管是否冲突 ✅ 但无区分能力

SQLite 用 ON CONFLICT IGNORE 时 rowcount 总是 -1 的原因

SQLite 支持 ON CONFLICT IGNORE,但 SQLAlchemy 的 SQLite 方言在执行批量插入时默认不启用 executemany 的行计数反馈,导致 result.rowcount 恒为 -1,即使底层 SQLite 实际执行了部分插入。

论论App
论论App

AI文献搜索、学术讨论平台,涵盖了各类学术期刊、学位、会议论文,助力科研。

下载

实操建议:

  • 不要依赖 rowcount,改用事务前后查表计数:before = conn.execute(select(func.count()).select_from(User)).scalar(),插入后再查一次
  • 若数据量小(insert().on_conflict_do_nothing()(SQLite 1.4+ 支持),每条都能拿到正确 rowcount
  • 确保表定义里有 sqlite_autoincrement 或显式唯一约束,否则 ON CONFLICT 不生效

通用方案:用 merge() 替代“忽略插入”时的性能陷阱

session.merge() 看似能实现“存在则跳过”,但它本质是先 SELECT 再决定插入或更新,批量调用时 N+1 查询开销极大,1000 行可能触发 1000 次查询,比原生 INSERT IGNORE 慢两个数量级。

实操建议:

  • 仅当必须走 ORM 生命周期(如需要触发 @validates 或事件钩子)时才用 merge,否则一律用 Core 的 insert().on_conflict_* 或原生语句
  • 如果数据库不支持原生忽略(如旧版 MySQL),宁可先 SELECT id FROM table WHERE key IN (...) 批量查重,再对差集执行 insert,也比 merge
  • merge 返回对象,不返回行数;想统计插入量,得自己维护一个计数器

实际插入行数这个需求,背后往往隐含“幂等写入+可观测性”的业务逻辑。不同数据库的 rowcount 定义根本不一致,硬套一个方法去适配所有方言,十有八九会在某个环境里翻车。最稳妥的做法,是按数据库类型分路径处理,而不是试图抽象出一个“通用忽略插入函数”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

668

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

268

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

281

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

516

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

257

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

387

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

534

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

605

2023.08.14

2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

54

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 816人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号