玩转DB里的数据阿里云DMS任务编排之简介和实操

1.任务编排介绍

数据库是企业IT系统里的重要基础设施&＃xff0c;里面存储了大量有价值的数据资产&＃xff0c;如&＃xff1a;交易数据、客户数据、订单数据&＃xff0c;等等。其实&＃xff0c;数据库在企业里一直扮演着一个数据生产者&＃xff08;Producer&＃xff09;的角色&＃xff0c;日积月累这些数据会形成一个巨大的宝藏。但是&＃xff0c;随着数据库中数据量的增长和数据形态的多样化&＃xff0c;如何对数据进行存储、迁移和加工&＃xff0c;并挖掘出其中的价值&＃xff0c;是许多企业面临的难题。

为解决上述问题&＃xff0c;阿里云DMS&＃xff08;Data Management Service&＃xff09;产品近期推出了一个新功能——任务编排。无论您的数据库部署在何处&＃xff08;阿里云/本地IDC/其他云厂商等&＃xff09;&＃xff0c;是何种类型&＃xff08;OLTP交易型数据库/OLAP分析型数据库&＃xff09;&＃xff0c;DMS任务编排都能够触达您的数据库&＃xff0c;让您轻松地对数据库中的数据进行流转、加工和变换。DMS任务编排提供的主要功能和特性包括&＃xff1a;

• 丰富的数据迁移能力&＃xff1a;可实现数据库与数据库之间&＃xff08;如&＃xff1a;OLTP在线库与OLAP离线库&＃xff09;、数据库与弹性存储之间&＃xff08;如&＃xff1a;MySQL与OSS&＃xff09;的数据自由流动&＃xff1b;

• 丰富的数据加工手段&＃xff1a;单库SQL任务、跨库SQL任务、数据迁移任务、Spark任务、数据备份与恢复服务&＃xff08;建设中&＃xff09;&＃xff1b;不仅可以通过SQL语句对单个数据库或多个数据库里的数据进行加工&＃xff0c;还可编写Spark任务进行复杂的数据处理和AI分析&＃xff1b;

• 任务流和定时调度&＃xff1a;通过可视化的方式将多个任务节点进行编排形成任务流&＃xff0c;灵活按需设置多种不同粒度间隔的定时调度&＃xff1b;

• 按模板一键创建任务流&＃xff1a;为不同的场景&＃xff08;如&＃xff1a;历史数据归档到OSS&＃xff09;内置了任务流模板&＃xff0c;用户可一键生成模板任务流&＃xff0c;通过简单的配置即可应用于生产&＃xff1b;

• 牢靠的数据安全保障&＃xff1a;依托DMS强大的数据安全能力&＃xff0c;任务编排会对用户权限进行严格检查&＃xff0c;仅限有权限的用户才能执行相应的任务。

了解了DMS任务编排的功能&＃xff0c;你一定开始好奇用DMS任务编排能做什么&＃xff1f;下图展示了DMS任务编排支持的四类主要场景&＃xff1a;

场景1&＃xff1a;数据归档

目前比较流行的有两类数据库&＃xff1a;传统单机版数据库&＃xff08;如&＃xff1a;MySQL&＃xff09;和云原生数据库&＃xff08;如&＃xff1a;阿里云PolarDB和AnalyticDB for MySQL&＃xff09;。前者的存储空间是有限的&＃xff0c;后者虽然可以对存储扩容&＃xff0c;但也要收取较高的费用。那么&＃xff0c;当数据库中的数据量持续增长时&＃xff0c;该如何降低存储成本呢&＃xff1f;许多用户希望能将数据库中的冷数据/历史数据转储到可靠又低价的存储上&＃xff0c;如&＃xff1a;阿里云对象存储&＃xff08;OSS&＃xff09;。现在通过DMS任务编排&＃xff0c;可轻松实现数据库数据周期归档&＃xff08;如&＃xff1a;每日/每周&＃xff09;到OSS的需求。同时&＃xff0c;DMS还有好地对接了阿里云数据湖分析产品&＃xff08;DLA&＃xff09;&＃xff0c;用户可在DMS里方便地访问DLA&＃xff0c;对归档到OSS上的数据进行即席查询和分析。

场景2&＃xff1a;数据集成

企业的数据可能分散在不同的数据源中&＃xff08;如&＃xff1a;MySQL、SQL Server&＃xff09;&＃xff0c;也可能分散在不同的地域&＃xff08;例如&＃xff1a;北京、杭州、深圳&＃xff09;。导致数据分散的原因有很多&＃xff0c;比如&＃xff1a;业务的垂直划分、微服务、应用的本地部署等等。数据的分散不可避免&＃xff0c;但同时许多企业又有数据集成的需求&＃xff0c;需要将各地的数据汇聚到一起进行全局分析&＃xff08;如&＃xff1a;汇总和AI分析&＃xff09;&＃xff0c;典型的场景就是OLTP交易库的数据同步至OLAP分析库做离线分析。通过DMS任务编排&＃xff0c;可以轻松实现这一需求。首先&＃xff0c;DMS打通了各种网络环境&＃xff08;如&＃xff1a;阿里云VPC/经典网络&＃xff0c;本地IDC网络&＃xff09;&＃xff0c;可连接至各个地域的数据源。其次&＃xff0c;DMS支持异构数据源间的数据集成&＃xff0c;如&＃xff1a;RDS MySQL到AnalyticDB。此外&＃xff0c;通过DMS任务编排&＃xff0c;还能满足各种集成方式的需求&＃xff0c;如&＃xff1a;单次全量集成、周期性增量集成。

场景3&＃xff1a;数据加工

做完数据集成之后&＃xff0c;用户通常还要对汇聚的原始数据进行加工、清洗和分析&＃xff0c;才能挖掘出其中的价值&＃xff0c;例如&＃xff1a;每日统计产品的用户数&＃xff08;UV&＃xff09;&＃xff0c;按周产生报表数据。DMS任务编排提供了任务流和定时调度能力&＃xff0c;通过任务流可以将复杂加工任务进行拆解和编排&＃xff0c;然后配置调度信息。DMS支持单次调度和周期调度&＃xff08;如&＃xff1a;按日、周、月&＃xff09;&＃xff0c;此外还支持多类型的加工任务&＃xff0c;用户可使用SQL进行数据加工&＃xff0c;也可编写Spark程序进行复杂的数据处理和AI分析。通过丰富的调度配置和任务类型&＃xff0c;DMS任务编排能满足各种简单/复杂场景的数据加工需求。

场景4&＃xff1a;定时操作

在日常数据库的使用中&＃xff0c;有许多DML/DDL/DCL操作需要定期执行&＃xff0c;如&＃xff1a;每周清理历史数据&＃xff08;DELETE&＃xff09;防止表过大、每日更新统计信息&＃xff08;ANALYZE TABLE&＃xff09;以获得更好的查询优化结果。有些数据库在内核层面已经提供了事件调度功能&＃xff0c;如&＃xff1a;MySQL Event&＃xff0c;但是使用特殊的语法创建Event和维护Event都有一定的成本。DMS任务编排的调度功能提供了可视化的方式轻松创建定时任务&＃xff0c;并且不依赖数据库引擎上的能力&＃xff0c;因此更加简易灵活&＃xff0c;适用范围更广。

2.任务编排实操 — DB数据周期归档

介绍完DMS任务编排的功能和使用场景&＃xff0c;下面将以数据归档场景为例&＃xff0c;介绍如何通过DMS任务编排和阿里云DLA服务将RDS MySQL数据周期地归档至OSS上。具体的实操步骤还可查阅DMS的使用文档。

2.1 背景和需求

用户的RDS MySQL业务库中某张表&＃xff08;如&＃xff1a;交易记录、登录/操作日志&＃xff09;的数据持续增长&＃xff0c;占用了大量的存储空间&＃xff0c;甚至影响到了数据库性能。同时&＃xff0c;这部分数据又是有价值的&＃xff0c;比如&＃xff1a;用于审计、报表和统计分析&＃xff0c;不能随意删除。为解决这个问题&＃xff0c;用户有三个核心的需求&＃xff1a;

• 降低MySQL业务库的存储压力;

• 对历史业务数据做增量归档&＃xff1b;

• 对归档数据做分区&＃xff0c;可按分区过滤进行高效查询。

为满足这三个需求&＃xff0c;我们选择了阿里云DLA服务&＃xff0c;因为其同时打通了OSS和RDS MySQL&＃xff0c;能够对上面的数据进行迁移和即席分析。但是&＃xff0c;DLA并不具备周期调度和增量数据迁移的能力&＃xff0c;DMS任务编排正好可以与DLA互补&＃xff0c;形成完整的解决方案满足用户需求。

在下面的实操中&＃xff0c;我们假设用户RDS MySQL中待归档的表为订单表orders&＃xff0c;其表结构如下&＃xff08;created_date字段为订单创建日期&＃xff09;&＃xff1a;

create table orders( order_id bigint, product_name varchar(32), price double, total_amount double, created_date date );

2.2前置条件

1、已购买阿里云DLA服务&＃xff0c;且DLA服务的区域&＃xff08;Region&＃xff09;和待归档的RDS MySQL区域一致&＃xff0c;如&＃xff1a;都是华东1&＃xff08;杭州&＃xff09;

2、已开通阿里云OSS服务&＃xff0c;且服务的区域与DLA、RDS MySQL一致

3、已购买阿里云DMS服务

4、DLA实例已录入DMS中&＃xff08;请参考DMS实例录入&＃xff09; 各产品的购买要求和用途&＃xff1a;

产品购买产品的区域用途DMS无限制周期调度DLA与RDS MySQL同区域RDS MySQL数据迁移至OSS&＃xff1b;查询OSS上的归档数据OSS与RDS MySQL同区域存储RDS MySQL归档的数据

2.3 配置任务流

下面介绍如何在DMS中操作实现RDS MySQL数据周期归档&＃xff0c;主要包含5个步骤&＃xff1a;

步骤1&＃xff1a;创建DLA归档库

若要将数据归档至DLA上&＃xff0c;首先要在DLA中创建一个用于归档的schema&＃xff0c;用于存放归档表。在DMS首页的顶部菜单中&＃xff0c;找到SQLConsole单库查询&＃xff0c;并打开查询窗口&＃xff0c;然后输入如下SQL语句并执行&＃xff1a;

CREATE DATABASE demo_schema WITH DBPROPERTIES ( catalog &＃61; &＃39;oss&＃39;, location &＃61; &＃39;oss://xxxxxx/dla_demo/&＃39; )

步骤2&＃xff1a;创建任务流

在DMS首页的顶部菜单中&＃xff0c;选择数据工厂 -> 任务编排&＃xff0c;进入任务编排的首页。在首页点击“新建任务流”&＃xff0c;或者点击左侧tab进入开发空间&＃xff0c;也可以快速地找到新建任务流的入口。在新建任务流的窗口&＃xff0c;我们将任务流名称设为&＃xff1a;rds_data_to_oss。

步骤3&＃xff1a;配置任务节点

在任务流rds_data_to_oss中&＃xff0c;依次新建三个DLA-SQL类型的任务节点&＃xff1a;

1. 创建RDS同步Schema&＃xff1a;在DLA中创建Scheme映射到RDS

2. 创建OSS备份表&＃xff1a;在DLA中建立OSS备份表&＃xff0c;用于存储历史数据

3. 备份数据&＃xff1a;实现RDS MySQL前一天数据的备份。

节点创建完以后&＃xff0c;可在节点间添加连线&＃xff0c;对节点的执行顺序进行编排&＃xff0c;产生完整任务流。

下面对每个节点的内容进行设置&＃xff1a;

节点1&＃xff1a;创建RDS同步Schema

要让DLA顺利访问RDS MySQL的数据&＃xff0c;需要在DLA中为RDS MySQL创建一个Schema&＃xff0c;取名: dla_mysql_rds。我们将以SQL的方式来创建Schema。首先&＃xff0c;点击第一个任务节点&＃xff0c;在右侧的内容设置Tab页中&＃xff0c;输入如下SQL语句&＃xff08;其中部分参数需替换为RDS上的真实信息&＃xff09;&＃xff1a;

CREATE SCHEMA IF NOT EXISTS dla_mysql_rds WITH DBPROPERTIES ( CATALOG &＃61; &＃39;mysql&＃39;, LOCATION &＃61; &＃39;jdbc:mysql://xxxxxx.rds.aliyuncs.com:3306/dmstest&＃39;, USER &＃61; &＃39;dmstest&＃39;, PASSWORD &＃61; &＃39;xxxxxxxxx&＃39;, INSTANCE_ID &＃61; &＃39;xxxxxx&＃39; ); MSCK REPAIR DATABASE dla_mysql_rds;

此外&＃xff0c;为了让DLA顺利访问RDS MySQL&＃xff0c;还需要在RDS MySQL中添加DLA的白名单&＃xff0c;即&＃xff1a;将IP地址段100.104.0.0/16加入到RDS的白名单列表中。RDS白名单的配置方法可参考这个文档。

节点2&＃xff1a;创建OSS备份表

我们需要在DLA中创建OSS备份表&＃xff08;oss_orders&＃xff09;&＃xff0c;首先将节点的目标数据库设为demo_schema&＃xff0c;然后将节点内容设置为如下的SQL语句。oss_orders表的结构与RDS中的orders表完全一致&＃xff0c;不同的是oss_orders为分区表&＃xff0c;按照年/月/日&＃xff08;y/m/d&＃xff09;分区&＃xff1a;

CREATE EXTERNAL TABLE oss_orders ( order_id bigint, product_name varchar(32), price double, total_amount double, created_date date) PARTITIONED BY (y string, m string, d string) STORED AS TEXTFILE LOCATION &＃39;oss://xxxxxx/dla_demo/&＃39;;

其中&＃xff0c;LOCATION参数需要填写一个OSS路径&＃xff0c;即&＃xff1a;归档数据储存的OSS地址。

节点3&＃xff1a;数据备份

该数据备份实现了将RDS MySQL数据备份至OSS的功能。配置节点需要选择目标数据库为DLA的demo_schema&＃xff0c;设置时间变量&＃xff0c;并且编写备份SQL语句。

配置三个时间变量&＃xff0c;它们分别是&＃xff1a; • year&＃xff1a;当前日期前一天的年份&＃xff08;格式为yyyy&＃xff09; • month&＃xff1a;当前日期前一天的月份&＃xff08;格式为MM&＃xff09; • day&＃xff1a;当前日期前一天的日&＃xff08;格式为dd&＃xff09;

注&＃xff1a;关于DMS任务编排中变量的配置和使用&＃xff0c;请参阅该文档。bizdate为DMS任务编排里的系统参数&＃xff0c;对应到任务运行时间的前一天&＃xff0c;其他自定义变量也会随着任务执行时间的变化而自动更新。

设置数据备份SQL语句

/* 创建临时表 */ CREATE EXTERNAL TABLE oss_orders_tmp ( order_id bigint, product_name varchar(32), price double, total_amount double, created_date date) STORED AS TEXTFILE LOCATION &＃39;oss://xxxxxx/dla_demo/y&＃61;${year}/m&＃61;${month}/d&＃61;${day}&＃39; TBLPROPERTIES(&＃39;auto.create.location&＃39;&＃61; &＃39;true&＃39;); /* 备份日数据 */ insert into oss_orders_tmp SELECT * FROM dla_mysql_rds.orders where created_date &＃61; &＃39;${bizdate}&＃39;; /* 更新备份表分区信息以及删除临时表 */ msck repair table oss_orders; drop table oss_orders_tmp;

上面的SQL脚本本质上包括3个步骤来实现数据备份&＃xff1a;

1. DLA OSS中创建临时表&＃xff1a;临时表oss_orders_tmp映射位置为oss_orders所在OSS之下的年/月/日目录中&＃xff0c;临时表的数据会自动成为oss_orders一个分区&＃xff1b;

2. 备份日数据&＃xff1a;直接使用insert-select SQL语句从RDS MySQL中的orders表中读取数据&＃xff08;对应到DLA中的dla_mysql_rds.orders&＃xff09;&＃xff0c;写入OSS中的临时表&＃xff1b;

3. 更新分区信息以及删除临时表&＃xff1a;更新oss_orders元数据信息&＃xff0c;然后删除临时表oss_orders_tmp。

这里的巧妙之处在于&＃xff0c;合理地利用了DMS任务编排里变量的功能&＃xff0c;以及DLA OSS表的分区功能。临时表对应的OSS路径正好是全局备份表的一个分区路径。随着任务每日执行&＃xff0c;变量的值会自动更新&＃xff0c;由此产生新的OSS目录和分区&＃xff0c;RDS MySQL的增量数据也自动地归档至新分区下。例如&＃xff1a;RDS中created_date为2020-06-01的数据&＃xff0c;将归档至oss://xxxxxx/dla_demo/y&＃61;2020/m&＃61;06/d&＃61;01的路径下。

2.4 配置任务流调度

最后&＃xff0c;再介绍一下如何对任务流的调度进行配置。点击任务流空白处&＃xff0c;调出右侧的调度配置页面。首先将该任务流的调度进行开启&＃xff0c;然后将运行时间设为RDS MySQL的业务低峰期&＃xff08;如&＃xff1a;凌晨5点&＃xff09;&＃xff0c;并将调度周期设为“日”。这样设置以后&＃xff0c;该任务流将在每天的5点钟定期执行&＃xff0c;无需人工干预。如果要查看任务流的执行历史&＃xff0c;可点击左侧的运维中心&＃xff0c;其中还会展示每一次执行的时间和日志。

3 快速任务流构建 — 任务流模板

为了节省用户手动创建和配置任务流的时间&＃xff0c;DMS任务编排还提供了多种模板。这些模板通常包含了内置好的任务节点和SQL内容&＃xff1b;它们从具体的场景出发&＃xff0c;经过悉心的设计来解决实际问题&＃xff0c;并且来源于DMS用户的真实案例&＃xff0c;例如&＃xff1a;第二节介绍的RDS数据周期归档OSS场景就来自于某知名跨国汽车厂商。

通过模板&＃xff0c;用户可一键创建任务流&＃xff0c;然后经过简单的配置&＃xff0c;如&＃xff1a;设置节点的目标数据库和SQL中的部分参数&＃xff0c;即可生成可运行的任务流。目前&＃xff0c;我们已经上线了多个任务流模板&＃xff0c;欢迎访问DMS任务编排的首页进行查看&＃xff0c;我们也将持续补充模板&＃xff0c;让任务编排的使用更加便捷。

4 总结

DMS是阿里云用户非常喜爱的一款数据库工具产品&＃xff0c;能帮助用户打通各种网络环境&＃xff0c;对数据库进行管理和操作。除了常规的数据库增删改查和DDL操作&＃xff0c;越来越多的用户需要对数据库中的数据进行归档、迁移、备份和加工。为了满足这些需求&＃xff0c;DMS推出了任务编排功能&＃xff0c;它打通了数据库与其他系统/存储之间的通道&＃xff0c;让数据库不再成为数据孤岛。此外&＃xff0c;DMS任务编排还提供了丰富的任务类型&＃xff0c;以及任务流和定时调度能力&＃xff0c;可以帮助用户轻松地对数据库中的数据进行清洗加工&＃xff0c;把数据转变成商业智能。

上云就看云栖号&＃xff1a;更多云资讯&＃xff0c;上云案例&＃xff0c;最佳实践&＃xff0c;产品入门&＃xff0c;访问&＃xff1a;https://yqh.aliyun.com/

本文为阿里云原创内容&＃xff0c;未经允许不得转载。