CloudCanal

商业软件.数据同步,数据迁移工具;拥有可视化界面.

官网

安装

按照官网的文档,一步步往下执行,安装顺利,基本没有坑点.

压缩二进制包安装

注意点:

1. 需要安装openjdk8(官方要求).
2. 需要至少6GB内存(docker环境要求).
3. 需要MySQL服务,存储用户信息和任务相关数据.
4. 软件分为两部分,console(控制台)和sider(执行任务节点)

使用

使用文档

登录

登录控制台,访问: http://{console_host}:8111/ (console地址) 默认账号密码

账号：test@clougence.com
密码：clougence2021
默认验证码 777777 (添加节点时使用)

添加数据源

任务是需要从一个数据源中读取数据,写入到另外一个数据源中.添加数据源就是数据库的账户

数据源支持列表:

• ClickHouse
• Dameng
• Db2
• Doris
• ElasticSearch (常用)
• GaussDBForOpenGauss
• Greenplum
• Hana
• Hive
• Hudi
• Kafka
• Kudu
• MariaDB
• MongoDB (常用)
• MySQL (常用)
• OceanBase
• Oracle
• PolarDB-X
• PostgreSQL
• RabbitMQ (常用)
• Redis (常用)
• RocketMQ
• SQLServer
• SelectDB
• StarRocks
• TiDB
• Tunnel

不同数据源支持的读取/写入方式也不同

构建任务

任务构建一共分为五部分

1.指定源端和目标端

• 需要指定任务的执行节点
• 指定数据源和目标源的数据映射
• 需要验证数据源是否可以连接上
• 只能选择一个源数据节点和一个目标数据节点

2.任务配置

• 任务类型(全量同步还是增量任务,部分数据源作为来源数据时不支持增量任务)
• 硬件资源设置,会影响同步性能

3.表和过滤操作

• 源端数据对目标数据端字段映射
• 对于数据的过滤

4.数据字段处理

• 对于具体字段加工处理,数据转换等

5.创建任务

• 确认任务配置信息,添加到任务管理

任务配置比较简单,只需要使用鼠标点击即可完成任务构建. 另外由于执行数据节点使用分布式的,理论上可以添加很多的节点,那么任务就可以添加很多.还有就是任务监控做得比较到位,错误日志还算很清晰的,排查问题还是比较容易.

不足点,一个是只能从一个数据源读取,写入到另外一个数据源中;另外一个就是对于单个字段处理不够灵活.除了有限的处理方案,另外就是自定义Java代码.

监控任务

任务当前执行情况,以及异常情况下报警等

任务详情

任务添加完成后,即可查看任务执行情况

详情页面,包含任务基本信息,任务进度,任务数据源端和目标端.

另外还有任务日志

任务监控

结论

程序部署起来,顺畅,没有坑点.文档比较完善.

使用起来简单,几乎不需要花时间即可熟练掌握程序的使用.比如,创建任务时,一步一步即可创建任务.

各个功能简洁,目标明确.

在使用过程中,同步MySQL到Doris的任务中,MySQL的binlog丢失,导致任务同步异常,修正微店之后,任务正常同步.

社区版本使用支持5个任务运行.

总的来说,是一款好用的,精致的,商业数据同步软件.另外功能明确,支持一个数据源到另一个数据源数据同步.