异构数据同步工具tapdata使用记录

简介

本次由Mysql同步到Mongod集群中，Mysql为1主2从MHA实现的高可用架构，Mongodb是由3个复制集组成的分片集群（测试环境mongos只有一个，安全起见应该启两个做高可用。config复制集一个）

集群构架如下：

tapdata部署服务器

192.168.175.232（测试可集成于其中一台服务器）

Mysql

集群环境本意是通过写节点进行访问，做数据导出，测试时还是真连了主库

192.168.175.206主

192.168.175.207从

192.168.175.208从

写节点：55,读节点199

mongo

192.168.175.233

192.168.175.234

192.168.175.235

每台虚拟机上开四个端口，三个复制集和一个config集群，两个mongos分别在233，235上，测试只开启235

复制集端口：27010，27011，27012，config复制集端口：27019,

mongos端口使用的是27017

搭建过程省略，贴出简略示意图

tapdata安装

1、登录页面：https://cloud.tapdata.net/

2、注册登录后，管理agent，标签右侧有个部署，点击进行下一步

3、部署页面中有Linux安装方法

tapdata在linux的安装方法

安装方法

? 1. 部署前请确认你的本地环境中已安装 java

? 2. 请复制下方命令并在本地部署环境执行，其包含 Tapdata Agent 的下载、自动部署及启动

? 3. 下载、部署 Tapdata Agent 无需 root 权限

? 4. 我们非常建议在一个独立、干净的文件夹内部署 Tapdata Agent

wget "http://resource.tapdata.net/package/feagent/v1.0.3-cloud/tapdata" && chmod +x tapdata && ./tapdata start backend --downloadUrl http://resource.tapdata.net/package/feagent/v1.0.3-cloud/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1eVxsdTr0OD8MUuFxeIPgTSdKKFDc/otA5YWsBj5I0q2JUz9111sL5gW8EaKeWRGuk7gjwFc4WjU3csOv1lyX2j7q7GRBZ0R+9BcicStdfweBriD8BPyIPvZcIkQZSqWf2NrRQSK4Bg7Th/o1TApEnLS5uOQOpVt7XyKjDs5QmfPAWOTr+pzUkl9kDN8i6feUf33HueRHxXXJKFpXZuMp/PtANgEeE9RlESQBCppYcv9duMKOi1/1vMt1rLryAF1t2/np9W7M1nSqCp5lDFN5lv4YpjBeVGByuYeXe+7QLjvE2DC5yBPJjACa+A5BBX1Fo99cMJNLMm1lg0+QuqsuZU1UP8tiw+iRgdNArRdxrRckMMIoj3gGPPscvjZsC4vbQ==

关闭 Tapdata Agent

./tapdata stop

启动 Tapdata Agent

./tapdata start backend

查看 Tapdata Agent 状态

./tapdata status

注意

Tapdata Agent 运行后会在 Tapdata 官网 Agent 管理页面自动注册，此时你可通过管理页面对其进行管控，也可在本地使用命令行方式对其进行管控，如果你的本地部署环境无法连通公网，那么你可能无法在 Agent 管理页面看到对应 Tapdata Agent

注意

每个免费用户同一时刻只可运行一个Tapdata Agent

云端创建连接数据源

安装完成后，重新tapdata云端页面，创建数据源连接

在连接管理中，创建数据源，mysql正常提供IP,PORT,HOST即可正常连接，对于MongDB，要注意其URL的写法

我这里测试创建多添加了几个

通过可用数据源创建同步任务

开户同步任务

备注：开启同步任务与上一步图中创建任务名称不同，还请使用时，开启自己创建的同名任务

点开运行监控选项，可见同步进度，与运行日志相关内容

#### 下方可见运行日志及任务里程碑

详细的请参考官方网站指导信息

https://cloud.tapdata.net/#/registry