0

0

mysql如何利用mydumper/myloader实现极速搬迁_mysql并行迁移

P粉602998670

P粉602998670

发布时间:2026-03-11 11:33:43

|

776人浏览过

|

来源于php中文网

原创

mysql如何利用mydumper/myloader实现极速搬迁_mysql并行迁移

mydumper 为什么比 mysqldump 快得多

因为 mydumper 默认按表并行导出,还能拆分大表为多个 chunk(基于主键或唯一索引),每个 chunk 单独成文件、独立线程处理;而 mysqldump 是单线程全表扫描,锁表时间长、IO 和 CPU 都没法压满。

关键点在于:它不依赖 MySQL 的逻辑复制或 binlog,而是直接走 SELECT + 一致性快照(靠 FLUSH TABLES WITH READ LOCK--no-locks + --use-savepoints 组合),所以对线上读写影响小得多。

  • 导出时默认启用 --threads=4,可手动调到 --threads=8 或更高,但别超过数据库 CPU 核数的 1.5 倍,否则争抢严重
  • 大表必须加 --chunk-filesize=64(单位 MB),否则单个 SQL 文件过大,myloader 导入时容易 OOM 或卡住
  • 跳过系统库要显式写 --regex='^(?!(mysql|sys|information_schema|performance_schema))',光靠 --skip-triggers 不管用

myloader 导入失败常见报错和对应解法

最常卡在 ERROR 1062 (23000) at line X: Duplicate entry '...' for key 'PRIMARY' —— 这不是数据重复,而是 myloader 并行导入时,多个线程同时 INSERT 同一张表的不同 chunk,触发了自增主键冲突或唯一约束竞争。

根本原因:目标库表结构里没关 AUTO_INCREMENT 或没清空自增计数器;或者源库导出时没带 --no-schemas,导致建表语句里的 AUTO_INCREMENT=xxx 被原样执行,覆盖了实际数据最大值。

  • 导入前先清空目标库:用 myloader --drop-if-exists,别手写 DROP DATABASECREATE,会丢掉字符集/排序规则
  • 确保导出时加了 --no-create-info(如果只导数据)或 --no-schemas(如果已有结构),避免建表语句干扰自增起点
  • 导入时强制指定线程数:myloader --threads=8 --database=testdb,别依赖默认值;线程数高于表数量时,空闲线程不干活,但不会报错

跨版本迁移时 mydumper/myloader 的兼容性雷区

mydumper 本身不校验 MySQL 版本,但它生成的 metadata 文件(metadata)里记录了 Started dump at:Finished dump at: 时间戳,以及 SHOW MASTER STATUS 输出。如果源是 MySQL 8.0+,而目标是 5.7,myloader 会尝试还原 GTID 信息,直接报错 ERROR 1840 (HY000)

Moshi Chat
Moshi Chat

法国AI实验室Kyutai推出的端到端实时多模态AI语音模型,具备听、说、看的能力,不仅可以实时收听,还能进行自然对话。

下载

更隐蔽的问题是:MySQL 8.0 默认用 caching_sha2_password 认证插件,而旧版 myloader(v0.9.5 之前)不支持该协议,连接目标库时静默失败,日志只显示 “Connected to MySQL server” 然后卡住。

  • 导出端 MySQL 8.0+,务必加 --no-binlogs--no-gtids,彻底绕过复制相关字段
  • 确认 myloader 版本 ≥ v0.10.0(GitHub release 页面查),低于此版本无法连 MySQL 8.0+ 的新认证方式
  • 目标库若为 5.7,建库时显式指定 CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci 会失败,得降级用 utf8mb4_unicode_ci

如何验证搬迁后数据完全一致

别信“没报错就是成功”。mydumper 的 chunk 拆分基于查询,如果某张表没主键/唯一索引,它会退化成全表一个 chunk,且不警告;而 myloader 对空 chunk 文件静默跳过,不会报错也不会提示。

最轻量可靠的验证方式,是比对每张表的 CHECKSUM TABLE 结果 —— 但注意:MySQL 5.7 开始 CHECKSUM TABLE 默认用哈希算法,不同版本或不同页大小下结果可能不一致;所以必须统一在目标库上跑。

  • 导出前,在源库执行:SELECT CONCAT('CHECKSUM TABLE ', table_schema, '.', table_name, ';') FROM information_schema.tables WHERE table_schema NOT IN ('mysql','sys','information_schema','performance_schema');,生成所有校验语句
  • 导入完成后,在目标库批量执行这些语句,把结果导出为 CSV,用 diff 对比源库同一批结果(注意去掉时间戳和行号)
  • 如果表太多,可用 pt-table-checksum 替代,但它要求主从环境或至少能连通两端,不如纯 SQL 方案直接

真正容易被忽略的是:mydumper 默认不导 event、function、procedure,除非加 --triggers --routines --events;这些对象缺失不会中断流程,但业务可能突然报错找不到存储过程。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

1133

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

381

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2152

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

380

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1663

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

585

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

440

2024.04.29

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2.5万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 846人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号