作者:随便他们好了 | 来源:互联网 | 2022-12-30 08:54
Etl工具将sqlserver数据同步到oracle设计说明软件说明通过etl工具定时将SqlServer指定的表数据同步到oracle数据库在数据库建立增删改的触发器。触
Etl工具将sqlserver数据同步到oracle设计说明
软件说明 通过etl工具定时将SqlServer指定的表数据同步到oracle数据库 在数据库建立增删改的触发器。触发器将变更放到临时表里。
通过etl工具读取临时表同步给oracle 优点:比较实时 缺点:影响到业务系统,因为需要在业务系统建立触发器 实例说明: 例如在sqlserver有一张用户表(sys_user)需定时同步oracle数据库的用户表, 包括新增、删除、修改同步 给同步的表建三类触发器: insert触发器:向表中插入数据时被触发; update触发器:修改表中数据时被触发; delete触发器:从表中删除数据时被触发。
以sqlserver的用户表举例, Sqlserver的sys_user表,有两个字段id,name 具体流程: 以新增数据举例 Ø 一、在sqlserver新建触发器trigger_sysuser_insert if (object_id('trigger_sysuser_insert') is not null) drop trigger trigger_sysuser_insert go create trigger trigger_sysuser_insert on sys_user --表名 for insert --插入后触发 --instead of insert --插入前触发,使用插入前触发时,不执行默认插入 as --开始执行逻辑 declare @id int, @name varchar(20); select @id = id, @name = name from sys_user; -------------- inserted 存放了当前插入的值 --select @name,@age ---创建临时表 if not exists (select * from sysobjects where id = object_id('##sys_user_insert') and OBJECTPROPERTY(id, 'IsUserTable') = 1) create table ##sys_user_insert ( id int, name varchar(32) ); insert into ##sys_user_insert (id,name) values(@id,@name); go 在sys_user新增数据时会被触发,将新增的数据加入临时表##sys_user_insert,此时 的临时表 ##sys_user_insert会增加一条记录 Ø 二、配置elt流程 节点1 从临时表读取数据,写入数据流 节点2 从数据流获取数据写入oracle 节点3 从sqlserver的临时表删除已经被同步的记录 Ø 三、建立作业调度 设置调度周期 适用增量数据同步 在要同步的源表里有时间戳字段,每当数据发生新增,时间戳会记录发生变化的时间,etl工具根据时间范围定时同步数据 优点:基本不影响业务系统 缺点:要求源表必须有时间戳这一列,适用增量场景,修改、删除不太适用 定时清空oracle数据源,将sqlserver的数据全盘拷贝到oracle数据源。一般用于数据量不大,实时性要求不高的场景。
大数据常用同步工具
一、离线数据同步 DataX 阿里的Datax是比较优秀的产品,基于python,提供各种数据村塾的读写插件,多线程执行,使用起来也很简单,操作简单通常只需要两步; 创建作业的配置文件(json格式配置reader,writer); 启动执行配置作业。 非常适合离线数据,增量数据可以使用一些编码的方式实现, 缺点:仅仅针对insert数据比较有效,update数据就不适合。
缺乏对增量更新的内置支持,因为DataX的灵活架构,可以通过shell脚本等方式方便实现增量同步。
参考资料: github地址:https://github.com/alibaba/DataX dataX3.0介绍:https://www.jianshu.com/p/65c440f9bce1 datax初体验:https://www.imooc.com/article/15640 文档:https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md Sqoop Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 地址:http://sqoop.apache.org/ Sqoop导入:导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。
Sqoop导出:导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录,这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。
Sqoop支持全量数据导入和增量数据导入(增量数据导入分两种,一是基于递增列的增量数据导入(Append方式)。二是基于时间列的增量数据导入(LastModified方式)),同时可以指定数据是否以并发形式导入。 Kettle Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业,方便实现全量、增量数据同步。缺点是通过定时运行,实时性相对较差。 NiFi Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。
它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。 NiFi基于Web方式工作,后台在服务器上进行调度。 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理引擎、任务调度等组件。 几个核心概念: Nifi 的设计理念接近于基于流的编程 Flow Based Programming。
FlowFile:表示通过系统移动的每个对象,包含数据流的基本属性 FlowFile Processor(处理器):负责实际对数据流执行工作 Connection(连接线):负责不同处理器之间的连接,是数据的有界缓冲区 Flow Controller(流量控制器):管理进程使用的线程及其分配 Process Group(过程组):进程组是一组特定的进程及其连接,允许组合其他组件创建新组件 参考资料 Nifi简介及核心概念整理 官方网站:http://nifi.apache.org/index.html 二、实时数据同步 实时同步最灵活的还是用kafka做中间转发,当数据发生变化时,记录变化到kafka,需要同步数据的程序订阅消息即可,需要研发编码支持。这里说个mysql数据库的同步组件,阿里的canal和otter canal https://github.com/alibaba/canal 数据抽取简单的来说,就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换,ETL工具能进行一次性或者定时作业抽取数据,不过canal作为阿里巴巴提供的开源的数据抽取项目,能够做到实时抽取,原理就是伪装成mysql从节点,读取mysql的binlog,生成消息,客户端订阅这些数据变更消息,处理并存储。下面我们来一起搭建一下canal服务 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。
不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。 ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析,当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48) 基于日志增量订阅&消费支持的业务: 数据库镜像 数据库实时备份 多级索引 (卖家和买家各自分库索引) search build 业务cache刷新 价格变化等重要业务消息 otter https://github.com/alibaba/otter otter是在canal基础上又重新实现了可配置的消费者,使用otter的话,刚才说过的消费者就不需要写了,而otter提供了一个web界面,可以自定义同步任务及map表。非常适合mysql库之间的同步。 另外:otter已在阿里云推出商业化版本 数据传输服务DTS, 开通即用,免去部署维护的昂贵使用成本。
DTS针对阿里云RDS、DRDS等产品进行了适配,解决了Binlog日志回收,主备切换、VPC网络切换等场景下的同步高可用问题。同时,针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑,强烈推荐阿里云用户使用DTS产品。
求推荐一款oracle数据库同步软件?
i2Active为您提供高可用和实时数据整合方案,协助Oracle数据库系统保持7*24小时运作,满足最终用户连续可用的要求。帮助您在企业范围内快速分发或收集关键数据,以便及时和准确的决策。