0

0

如何在批量序列化时跳过已存在的记录并仅保存新数据

碧海醫心

碧海醫心

发布时间:2026-01-03 16:34:29

|

219人浏览过

|

来源于php中文网

原创

如何在批量序列化时跳过已存在的记录并仅保存新数据

本文介绍如何自定义 django rest framework 序列化器的 `validate()` 方法,在批量创建(`many=true`)场景下自动过滤掉数据库中已存在的对象(如通过唯一字段 `identifier` 判断),避免 `is_valid()` 报错,确保仅对新数据执行验证与保存。

在使用 ModelSerializer 批量插入数据(many=True)时,若传入的数据中包含数据库中已存在的记录(例如 identifier 字段已存在),默认行为会因模型层唯一约束或序列化器内置的 UniqueValidator 触发验证失败,抛出类似 "trade with this identifier already exists." 的错误,导致整个批次中断。

解决思路不是重写 is_valid() 方法(不推荐且易破坏 DRF 内部逻辑),而是在验证阶段前置过滤:重载序列化器的 validate() 方法,统一检查所有待处理数据中的 identifier,提前剔除已存在的项,使后续验证仅作用于真正的新数据。

以下是优化后的 TradeSerializer 示例:

Supercreator
Supercreator

AI视频创作编辑器,几分钟内从构思到创作。

下载
from apps.trades.models import Trade
from rest_framework import serializers


class TradeSerializer(serializers.ModelSerializer):
    class Meta:
        model = Trade
        fields = ['identifier', 'issue_date', 'maturity_date', 
                  'invested_amount', 'interest_rate']

    def validate(self, data):
        # 仅在 many=True 场景下处理列表;单条数据时 data 是 dict,无需过滤
        if not isinstance(data, list):
            return data

        # 提取所有 identifier,去重后查询数据库
        identifiers = list({item['identifier'] for item in data if 'identifier' in item})
        existing_identifiers = set(
            Trade.objects.filter(identifier__in=identifiers).values_list('identifier', flat=True)
        )

        # 过滤:仅保留 identifier 不存在于数据库的项
        filtered_data = [
            item for item in data 
            if item.get('identifier') not in existing_identifiers
        ]

        # 可选:记录被跳过的数量(便于调试或日志)
        skipped_count = len(data) - len(filtered_data)
        if skipped_count > 0:
            self._skipped_count = skipped_count  # 可通过 serializer._skipped_count 访问

        return filtered_data

使用方式保持不变:

data = sanitizer.to_dict()  # 假设返回 list of dicts
serializer = TradeSerializer(data=data, many=True)
if serializer.is_valid(raise_exception=True):
    saved_instances = serializer.save()  # 仅保存新记录
    print(f"Saved {len(saved_instances)} new trades.")
    # 若需获取跳过数:print(f"Skipped {getattr(serializer, '_skipped_count', 0)} existing trades.")

⚠️ 注意事项:

  • 此方案不修改数据库原有记录,仅跳过插入,符合“只新增、不更新”的语义;
  • 若需支持“存在则更新”,应改用 update_or_create 逻辑,并配合 to_internal_value() 或自定义 save() 方法;
  • validate() 在字段级验证之后、is_valid() 最终判定前执行,因此仍会校验剩余数据的字段格式、必填项等;
  • 高并发场景下存在极小概率的竞态条件(如两次请求同时判断某 identifier 不存在),如需强一致性,建议结合数据库层面的 INSERT ... ON CONFLICT DO NOTHING(PostgreSQL)或事务+锁机制;
  • 若模型字段有其他唯一约束(如组合唯一),需同步扩展 validate() 中的查询逻辑。

该方法简洁、安全、符合 DRF 设计规范,是处理“批量去重插入”场景的推荐实践。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

156

2026.02.04

postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

163

2023.10.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1003

2023.11.02

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。更详细的postgresql常用命令,大家可以访问下面的文章。

213

2023.11.16

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有l、d、d5、di、ds、dv、df、dn、db、dg、dp、c、pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

280

2023.11.20

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

213

2026.02.12

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

382

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2106

2023.08.14

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

4

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 5.9万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号