作者：我爱大树茶 | 来源：互联网 | 2023-06-23 11:22
Sqoop是什么Sqoop：SQL-to-Hadoop连接传统关系型数据库和Hadoop的桥梁把关系型数据库的数据导入到Hadoop系统(如HDFSHBase和Hiv
Sqoop是什么
Sqoop&＃xff1a;SQL-to-Hadoop
连接 传统关系型数据库 和 Hadoop 的桥梁
把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中&＃xff1b;
把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
利用MapReduce加快数据传输速度 &＃xff1a;将数据同步问题转化为MR作业
批处理方式进行数据传输&＃xff1a;实时性不够好
Sqoop优势 高效、可控地利用资源
任务并行度&＃xff0c;超时时间等
数据类型映射与转换
可自动进行&＃xff0c;用户也可自定义
支持多种数据库
MySQL
Oracle
PostgreSQL
Sqoop import 将数据从关系型数据库导入Hadoop中
步骤1&＃xff1a;Sqoop与数据库Server通信&＃xff0c;获取数据库表的元数据信息&＃xff1b;
步骤2&＃xff1a;Sqoop启动一个Map-Only的MR作业&＃xff0c;利用元数据信息并行将数据写入Hadoop。
特点&＃xff1a;可以指定hdfs路径&＃xff0c;指定关系数据库的表&＃xff0c;字段&＃xff0c;连接数&＃xff08;不压垮数据库&＃xff09;&＃xff0c;可以导入多个表&＃xff0c;支持增量导入&＃xff08;手动指定起始id、事件&＃xff0c;或自动记录上次结束位置&＃xff0c;自动完成增量导入&＃xff09;
Sqoop Export 将数据从Hadoop导入关系型数据库导中
步骤1&＃xff1a;Sqoop与数据库Server通信&＃xff0c;获取数据库表的元数据信息&＃xff1b;
步骤2&＃xff1a;并行导入数据&＃xff1a;
将Hadoop上文件划分成若干个split&＃xff1b;
每个split由一个Map Task进行数据导入。
Sqoop与其他系统结合 Sqoop可以与Oozie、Hive、Hbase等系统结合&＃xff1b;
京公网安备 11010802041100号