手把手教你使用CloudCanal数据同步工具
本文旨在向大家讲述CloudCanal数据迁移同步工具。该工具能够支持多种数据源之间的高效数据同步，并配备有直观的操作界面。通过使用该工具，我们可以有助于提高我们的开发效率。让我们深入了解并掌握CloudCanal的数据同步操作吧！
本文旨在向大家讲述CloudCanal数据迁移同步工具。该工具能够支持多种数据源之间的高效数据同步，并配备有直观的操作界面。通过使用该工具, 我们可以帮助自己提高开发效率, 让我们深入了解并掌握CloudCanal的数据同步操作吧！
CloudCanal数据同步工具
CloudCanal-专业级实时数据同步平台提供可视化操作界面，并支持多源异构数据互通与融合功能；通过智能算法实现快速且高效的批量数据处理与整合服务；为企业打造灵活多样的数据分析场景
主页 | Clougence问答社区AskCUG
Clougence问答平台
社区版官方指南： 详细的产品说明 | Glougence
1 认识 CloudCanal
1.1 产品介绍
CloudCanal 是一款集数据迁移与同步管理于一体的综合平台。它不仅具备直观的操作界面设计，并且能够实现多种不同来源的数据之间的高效转移过程以及一致性检查工作。
1.2 产品功能
CloudCanal 具备一些对用户非常有用的核心功能，如下表所述：
1.3 产品架构
- 控制台：负责实现CloudCanal的核心产品化功能
- Sidecar: 主要承担任务进程与控制台程序之间的数据传输过程，并且确保任务进程运行稳定性强
- 任务内核：精确同步相关任务流程
2 CloudCanal 高可用部署
2.1 准备工作
1. 安装 Docker
不同操作系统需要访问 Docker 官网文档 来完成安装步骤。
2. 安装 Docker Compose
此处提供了一个国内官方镜像站点的安装指令，并建议同时查阅 Docker-Compose 安装文档 以获取更多信息。
2.2 安装cloudCanal
2.2.1 下载安装包
阿里云 OSS 下载最新版本
https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/latest/cloudcanal.7z
12月20日之后的包里面我们增加了md5值校验文件，下载之后可以校验一下md5
[https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/latest/md5sum.txt]
注：我们不需要校验md5
在linux下进行下载，直接使用命令
校验md5一致
2.2.2 安装7z
安装包为 cloudcanal.7z，包含了镜像和管理脚本
- 安装 7z 解压工具(如果已经安装，此步略过)
- 进入cloudcanal安装包所在目录，解压缩
- CloudCanal 目录结构说明
解压目录如下，其中包括
- 镜面反射：包含四个 tar 压缩包
- 脚本管理：包括启动、维护和更新操作，并提供 scripts 目录下的运维脚本集合
- 日志与配置管理：记录用于 docker-compose 启动的日志信息以及负责docker-compose运行的配置参数管理
2.2.3 启动CloudCanal
- 执行启动命令: sh startup.sh
当终端出现 cloudcanal start 时，即启动成功
- 确认启动成功
启动过程所需时间约为一分钟左右；请访问控制台界面 http://{您部署机器的ip}:8111 ，完成认证流程后进行操作步骤。
2.2.4 登录 CloudCanal 控制台
-
使用CloudCanal 试用用户登录
-
- 用户名：test@clougence.com
- 密码：clougence2021
注释：在需要向他人发送短信的情况下，请先通过点击按钮等方式获取验证码，并将短信验证码输入为 123456 即可。
-
默认添加的测试 MySQL 数据库（两库中已准备好表和数据）
-
- cloudcanal_test_a(源端)
- cloudcanal_test_b(目标端)
-
默认已添加了一台运行机器，用于执行具体的数据同步任务
2.3 默认自带数据库
默认添加的测试 MySQL 数据库
在云Canal测试套件中已准备好用于测试的相关表格信息及数据集分别位于主设备（云Canal_test_a）与从设备（云Canal_test_b）中。
在宿主机上可以直接以下命令访问 MySQL 容器。
docker exec -it cloudcanal-mysql -uclougence -h127.1 -p123456
2.4 CloudCanal 升级
请解密新版本的 cloudcanal.7z 压缩包，并复制至原目录中的对应文件。接着请按照以下步骤依次运行相关脚本。
sh shutdown.sh sh upgrade.sh sh startup.sh
由于这两个数据目录未被覆盖（sidecar_data 和 console_dat），从而确保数据的安全性。
3 快速使用
目前我们不需要添加机器，和集群。除非有新的机器安装了同步
具体过程：生成机器码、在另一台集群上启动sidecar容器
3.1 添加数据源
访问数据源管理平台，请您依次执行以下操作：首先单击‘添加数据源’按钮；然后您可从以下几种途径中选择：预设的阿里云资源池或者本地企业级数据库。
添加两个数据源，分别作为同步的源库和目标库。
3.2 数据同步
同步表结构
在同步数据的时候，先同步表结构；
访问任务管理页面后，请点击新增任务。请设置源实例和目标实例，并配置数据库对应关系。
采用数据同步功能，在数据迁移中去除全量同步功能以及增量同步功能，并转而采用表结构迁移
3、建立数据映射关系。如果采用的是分库分表策略，则仅在目标端迁移该张表格的结构信息即可。（采用数字编码的方式进行映射）
4、选择表中要同步的列
5、确认配置无误后，点击创建任务。
全量同步 + 增量同步
访问任务管理界面并执行创建新任务的操作。为操作设定起始和目标实例，并配置数据库映射设置以完成关联配置。
选择开启数据同步功能，在首次运行时会执行完整的表内数据全量同步；随后将通过 binlog 实现增量数据同步。
3、决定同步哪些表，并确保目标数据库的更新和删除操作与源数据库保持一致的同时，必须确保源数据库表拥有唯一的键或唯一约束。
4、选择表中要同步的列。
确认配置无误后，点击创建任务。
查看同步进度
3.3 校验
该模块用于检测两个库之间数据的一致性；访问任务管理页面后，在生成菜单中选择新建数据校验任务
可以看到两个库间的数据是一致的。
3.4 查看日志
-
CloudCanal docker 版的日志路径在压缩包解压路径下
-
consol记录：${安装包解压路径}/console_data/logs/cloudcanal(console).log
- 服务车记录：${安装包解压路径}/sidecar_data/logs/cloudcanal(side car).log
- 任务记录：${安装包解压路径}/sidecar_data/logs/cloudcanal(task).log
4 常见问题
- 连通性测试失败
- 增量收不到数据
- 性能问题排查
我们机构已提供了相关的解决办法：功能问题排查 | Glougence