使用 on duplicate key update 解决大量数据插入中的重复问题
在处理大数据量 mysql 插入过程中，经常会遇到重复项的问题。为了避免浪费数据空间并确保数据完整性，理想情况下，我们希望仅插入不重复的数据，并找出已存在的重复项。
解决方案：on duplicate key update
mysql 提供了一项名为 on duplicate key update 的功能，它允许在尝试插入重复项时更新现有记录的值。语法如下：
INSERT INTO TABLE (a,b,c) VALUES (1,2,3), (2,5,7), (3,3,6), (4,8,2) ON DUPLICATE KEY UPDATE b=VALUES(b);
在上述示例中，当尝试插入重复键值时（本例中为列 a），insert 语句将更新列 b 的值，而不是插入新行。
返回重复数据
on duplicate key update 不会直接返回重复数据的信息。但是，我们可以结合其他技术来实现此目的：
- 使用 insert ignore：insert ignore 语句会忽略重复项并不会更新现有记录。我们可以先使用 insert ignore 尝试插入，然后检查受影响的行数。如果受影响的行数小于插入的记录数，则表明有重复项。
- 使用 last_insert_id()：last_insert_id() 函数返回最近插入的自增 id。如果插入操作成功，last_insert_id() 将返回插入记录的 id。否则，将返回 0。我们可以通过比较 last_insert_id() 和预期插入的记录数来检测重复项。
