canal中间件

简介&＃xff1a;

基于数据库增量(模拟MySQL slave的交互协议)日志解析&＃xff0c;提供增量数据订阅和消费(客户端与canal建立关系)

安装版本&＃xff1a;1.1.0
git

环境需求&＃xff1a;

• jdk1.7以上
• mysql开启binlog_format&＃61;row,并配置mysql slave相关权限。

目录结构&＃xff1a;

[root&＃64;wap canal]# tree -L 2 /usr/local/canal
/usr/local/canal
├── bin #启动、关闭、重启命令
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf #配置文件目录
│   ├── canal.properties #canal程序配置文件
│   ├── example #数据库实例配置目录&＃xff0c;一个实例一个目录
│   │ ├── instance.properties #每个实例单独的配置文件
│ │ └── meta.dat #记录binlog相关信息&＃xff0c;防止重启相关信息丢失
│   ├── logback.xml
│   ├── metrics
│   └── spring
├── lib
│   ├── aopalliance-1.0.jar
│   ├── aviator-2.2.1.jar ....
└── logs├── canal #canal程序本身日志目录└── example #连接数据库实例的日志目录

配置说明&＃xff1a;

conf/canal.properties 主配置文件&＃xff1a;

• canal.id: 每个canal server实例的唯一标识
• canal.ip: 服务地址
• canal.port: 服务端端口&＃xff0c;客户端连接
  
• canal.zkServers: 集群时&＃xff0c;连接zookeeper
• canal.instance.detecting.enable: 是否开启心跳检查
• canal.instance.detecting.sql: 心跳检查sql,配置select查询语句&＃xff0c;适用于高可用场景
• canal.destinations: canal上部署的instance列表&＃xff0c;多实例用逗号分隔
• canal.conf.dir: 配置文件目录
• canal.auto.scan: 开启instance自动扫描&＃xff0c;扫描canal.conf.dir目录下的instance
• canal.file.data.dir: 持久化数据到file目录
• canal.instance.global.spring.xml: 全局的spring配置方式的组件文件&＃xff0c;默认选择基于file持久化模式&＃xff0c;用于非HA场景

canal.instance.global.spring.xml配置选项介绍

memory-instance.xml介绍&＃xff1a;

所有的组件(parser , sink , store)都选择了内存版模式&＃xff0c;记录位点的都选择了memory模式&＃xff0c;重启后又会回到初始位点进行解析
特点&＃xff1a;速度最快&＃xff0c;依赖最少(不需要zookeeper)
场景&＃xff1a;一般应用在quickstart&＃xff0c;或者是出现问题后&＃xff0c;进行数据分析的场景&＃xff0c;不应该将其应用于生产环境

default-instance.xml介绍&＃xff1a;

store选择了内存模式&＃xff0c;其余的parser/sink依赖的位点管理选择了持久化模式&＃xff0c;目前持久化的方式主要是写入zookeeper&＃xff0c;保证数据集群共享.
特点&＃xff1a;支持HA
场景&＃xff1a;生产环境&＃xff0c;集群化部署.

group-instance.xml介绍&＃xff1a;

主要针对需要进行多库合并时&＃xff0c;可以将多个物理instance合并为一个逻辑instance&＃xff0c;提供客户端访问。
场景&＃xff1a;分库业务。 比如产品数据拆分了4个库&＃xff0c;每个库会有一个instance&＃xff0c;如果不用group&＃xff0c;业务上要消费数据时&＃xff0c;需要启动4个客户端&＃xff0c;分别链接4个instance实例。使用group后&＃xff0c;可以在canal server上合并为一个逻辑instance&＃xff0c;只需要启动1个客户端&＃xff0c;链接这个逻辑instance即可.

conf/example/instance.properties 实例配置

• canal.instance.mysql.slaveId: slaveid唯一,与mysql serverid不同即可。
• canal.instance.gtidon&＃61;false : 是否开启gtid
• canal.instance.master.address: 数据库链接地址
• canal.instance.master.journal.name: 链接起始的binlog文件
• canal.instance.master.position: 链接起始的binlog偏移量
• canal.instance.master.timestamp: 链接时起始的binlog时间戳
• canal.instance.dbUsername: 数据库帐号
• canal.instance.dbPassword: 数据库密码
• canal.instance.connectionCharset: 与数据库编码格式一致
• canal.instance.filter.regex&＃61;.\.. :正则匹配库和表&＃xff0c;默认所有库和表
• canal.instance.filter.black.regex&＃61;mysql..* :过滤掉哪些库和表&＃xff0c;这里过滤mysql库的所有表。正则匹配

官网详细配置说明

配置式例&＃xff1a;

1. 多实例配置

1. 打开canal.auto.scan参数&＃xff0c;会根据canal.auto.scan.interval定义的频率&＃xff0c;进行扫描

• 发现目录有新增&＃xff0c;启动新的instance
• 发现目录有删除&＃xff0c;关闭老的instance
• 发现对应目录的instance.properties有变化&＃xff0c;重启instance

cp -a conf/example conf/example_1


1. 关闭canal.auto.scan&＃xff0c;在canal.destinations后以逗号分隔配置多实例名称。

canal.destinations&＃61; example,example_1$ cp -a conf/example conf/example_1
$ ./bin/restart.sh

高可用&＃xff0c;集群相关配置wiki中介绍&＃xff0c;请参阅官网
源码分析