作者：小屁孩你不懂cl | 来源：互联网 | 2023-05-17 21:18
说明：我们有一个业务需要把mysql中一些表实时同步到大数据集群hbase上面，我们先通过sqoop把表中数据全量导入到hbase中，然后再通过canal定位的某个binlog的p
说明：我们有一个业务需要把mysql中一些表实时同步到大数据集群hbase上面，我们先通过sqoop把表中数据全量导入到hbase中，然后再通过canal定位的某个binlog的position，来实现增量同步，canal官网提供了java/go接口，直接写入到Kafka，然后通过sparkstreaming实时写入到hbase中
一. 通过sqoop把mysql表中的数据全量导入到hbase中(需要安装sqoop)
sqoop import \
--connect jdbc:mysql://ip:port/database \
--username username \
--password password \
--table user_info \
--hbase-create-table \
--hbase-table user_info \
--hbase-row-key id \
--column-family order_info
二. 精确定位到binlog位点，进行启动
1. 查看当前数据库的binlog日志,在数据库中通过show binary logs 查看
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.001112 | 375374 |
| mysql-bin.001113 | 366569 |
| mysql-bin.001114 | 360112 |
| mysql-bin.001115 | 101198
2. 查看当前binlog日志的position(一般最大的binlog以及最大的position)
show binlog events in 'mysql-bin.001115';
3. 需要先重启canal服务（如果之前正运行canal）
cd /usr/local/canal/bin && ./stop.sh && ./startup.sh
4. 修改zookeeper对应destination里面的配置
说明：我这边是在配置文件里面配置了zookeeper，如果没有配置，则会在你相应的destination目录下面生成meta.dat文件，也只需修改到对应的binlog和position即可
1）连接zookeeper
./zkCli.sh -server zk-address:2181
2）查看对应destination的配置（其中test为destination的名称）
(CONNECTED) 2] get /otter/canal/destinations/test/1001/cursor
"journalName":"mysqlbin.002908"
"position":198601951
3）把上面配置中journalName和position修改为自己需要的binlog日志和偏移量
(CONNECTED) 3]set /otter/canal/destinations/d_aura_jike/1001/cursor {xxx}
5. 修改一下对应destination的配置文件（主要是触发使其生效）
vim /usr/local/canal/conf/test/instance.properties
6. 通过canal提供的java/go接口，来测试数据的同步（官网有例子https://github.com/alibaba/canal）
![[转]ZooKeeper学习第一期Zookeeper简单介绍](https://img7.php1.cn/3cdc5/c92d/9f3/0d3b8f8360a7e5f0.png)
京公网安备 11010802041100号