开发笔记:Hadoop之sqoop

sqoop产生的原因&＃xff1a; 多数使用Hadoop技术的处理大数据业务的企业&＃xff0c;有大量的数据存储在关系型数据中。由于没有工具支持&＃xff0c;对Hadoop和关系型数据库之间数据传输是一个很困难的事。所以sqoop产生了。

sqoop简介: sqoop是连接关系型数据库和Hadoop的桥梁&＃xff0c;主要有两个方面(导入和导出)&＃xff1a;

• 将关系型数据库的数据导入到Hadoop及其相关的系统中&＃xff0c;如Hive和HBase
• 将数据从Hadoop系统里抽取并导出到关系型数据库

sqoop的优点&＃xff1a;

• 可以高效、可控的利用资源&＃xff0c;可以通过调整任务数来控制任务的并发度。
• 可以自动的完成数据映射和转换。由于导入数据库是有类型的&＃xff0c;它可以自动根据数据库中的类型转换到Hadoop中&＃xff0c;当然用户也可以自定义它们之间的映射关系。
• 支持多种数据库&＃xff0c;如mysql&＃xff0c;orcale等数据库。

sqoop工作的机制&＃xff1a; 将导入或导出命令翻译成MapReduce程序来实现在翻译出的,MapReduce中主要是对InputFormat和OutputFormat进行定制

离线项目的处理架构流程