cloudcanal 免费社区版 是由 clougence 公司自主研发的一款可视化、自动化的数据迁移与同步工具，集成了 结构迁移、数据迁移、实时同步、数据校验 和 数据订正 等核心能力。产品全面支持 60+ 主流数据库及中间件，涵盖关系型数据库、实时数仓、消息队列、缓存系统和搜索引擎，其中包括国产主流系统如 oceanbase、polardb、tidb、starrocks、doris 以及 rocketmq 等。
通过集成开源项目 CloudCanalProcess，用户可轻松实现以下扩展功能：
-
wide-table：宽表处理插件，支持事实表与单维度表的自动组合构建
-
data-transform：通用数据转换插件，支持字段增减、操作类型变更、数据清洗与回填
-
data-gather：分库分表、跨地域或垂直拆分场景下的数据实时汇聚
-
data-compare：基于源端变化实现业务级数据对账
-
business-alert：根据数据波动趋势触发智能告警机制
CloudCanal 在功能上对标阿里云 DTS、Amazon DMS、StreamSets 和 AirByte，致力于帮助开发人员、DBA 及运维团队高效搭建稳定可靠的数据链路。
核心亮点
- 支持 MySQL 到 MySQL/StarRocks/Doris/SelectDB/PostgreSQL 的表达式表名匹配，适用于超大规模表的批量迁移与同步
- 新增 CloudCanal 控制台黑夜模式，提升夜间操作体验
新增链路支持
- 开通 腾讯云 TDSQL MySQL → TDSQL MySQL 的全量同步、增量同步、数据校验、数据订正、结构迁移及 DDL 同步（包括加列、删列、modify、rename、truncate）
新功能上线
- 支持 AWS RDS Oracle 的全量迁移与增量同步
- Oracle/PostgreSQL/SQL Server 源端支持配置数据校验采样率（参数：checkSamplePercent），支持叠加过滤条件，暂不支持断点续传
- 实现 MySQL → PostgreSQL 多 Schema 场景下的迁移与同步
- TiDB 源端支持多个任务订阅同一张表，显著降低超大 Region 表拉取变更时出错的概率
- 支持 MySQL/OceanBase for MySQL → OceanBase for MySQL 的 CHANGE COLUMN 类型 DDL 同步
- 支持 MySQL → MySQL 场景下地理空间类型数据的同步
- 支持在任务级别设置延迟告警 WebHook，便于对关键任务进行独立监控
-
钉钉、飞书、企业微信告警支持 "@所有人" 功能，可通过 配置 > 个人偏好 > CloudCanal > imAlertAtAll 参数开启
- 语音告警支持通过代理发送，满足全内网环境用户的使用需求
- 支持将迁移同步节点上的任务日志和主机日志上传至 S3 或 OSS（通过 配置 > 个人偏好 设置存储信息），助力故障排查
- 支持将任务参数导出为 Excel 文件保存，便于审计与问题追踪
- 支持导出全量性能、增量性能及机器监控图表为图片
- 支持修改订阅批量操作中黑名单的生效范围（已订阅表 / 新增表）
- 支持将现有任务参数保存为模板，并在应用模板时预览内容
- 提供开放 API 接口（/schema/listTransObjsByMeta），支持按源端和目标端库表信息查询相关任务
体验优化
- 优化任务处于“删除中”状态时的操作限制，避免误操作
- 优化任务参数模板的创建、查询与删除流程
- 完善模板配置项的白名单规则管理
- 改进创建任务时选择目标表的交互逻辑，提升易用性
缺陷修复
- 修复 TiDB 源端增量同步时无符号 Decimal 类型解析异常的问题
- 修复任务参数页面未展示待创建参数的问题
- 修复未激活状态下提示文案错误的问题
- 修复在搜索并手动勾选模式下修改映射规则或表名接口调用异常的问题
- 修复消息源端创建任务最后一步界面显示异常的问题
- 修复消息源端任务黑名单操作按钮未隐藏的问题
- 修复消息对端数据库列表 action 过滤按钮未隐藏的问题
- 修复 Kafka 测试连接时无法获取 Topic 列表的问题
- 修复设置自定义主键后虚拟列影响汇聚逻辑主键生成的问题
- 修复个人偏好中 IM 验证签名无效的问题
- 修复修改邮箱、手机号、密码时报错信息未正确显示的问题
- 修复异步操作（如创建、重跑、删除任务）失败后仍允许启动任务，导致状态机紊乱的问题
- 修复创建任务时无法选择表的原因未正常提示的问题
- 修复开启条件过滤下推后，“下一步/上一步”按钮状态缺失的问题
- 修复 MySQL 获取最新位点后确定按钮不可点击的问题
- 修复创建任务指定虚拟列时，若对端存在同名列会导致增量写入为空的问题
- 修复达梦数据库因 DDL（ADD LOGIC LOG）解析错误引发结构快照异常的问题
- 修复达梦源端数据过滤配置不生效的问题
- 修复手动添加阿里云数据源时缺少实例 ID，导致自动建库、IP 白名单等依赖 OpenAPI 的功能失败的问题
- 修复存量任务查看库表映射时，操作黑名单显示异常的问题
- 修复超长单行日志导致浏览器卡死或崩溃的问题
- 修复 MQ/Elasticsearch 对端修改订阅时新增库“确定”按钮无法点击的问题
免费下载与使用
源码地址：点击下载
以上就是CloudCanal v5.3.0.0 发布，无惧海量表的数据实时迁移同步的详细内容，更多请关注php中文网其它相关文章！
471
收藏
