热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

SQOOP抽取各类型数据库脚本示例

------------MySQL------------导入到HDFSsqoopimport--connectjdbc:mysql:localhost:3306wht--us
------------MySQL------------

导入到HDFS

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table people --fields-terminated-by ',' --target-dir /user/hive/warehouse/cust --delete-target-dir --null-string '' --null-non-string ''   -m 1



导入到Hive

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table people --fields-terminated-by ','  --hive-import --hive-table db01.peopleseq --hive-overwrite  -m 1



---------------ORACLE------------



导入到HDFS

sqoop import --connect jdbc:oracle:thin:@192.168.20.104:1521:xe --username dep --password Dep2018 --table WHT_C --fields-terminated-by '\001' --target-dir /user/hive/warehouse/oracledb/wht_c  --delete-target-dir -m 1





导入到Hive

sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.20.104:1521:xe --username dep --password Dep2018 --table WHT_C --hive-database  oracledb --hive-table wht_c --fields-terminated-by '\001' --hive-overwrite  -m 1



------------DB2------------

导入到HDFS

sqoop import --connect jdbc:db2://192.168.20.104:60000/dep --username db2inst1 --password Server2008! --table wht_test  --fields-terminated-by '\001' --target-dir --delete-target-dir   /user/hive/warehouse/db2db/wht_test  -m 1



sqoop import --hive-import --connect jdbc:db2://192.168.20.104:60000/dep --username db2inst1 --password Server2008! --table wht_test --hive-database  db2db --hive-table wht_test --fields-terminated-by '\001' --hive-overwrite  -m 1



------------SQL SERVER------------

导入到HDFS

sqoop import --connect 'jdbc:sqlserver://192.168.20.105:1433;databasename=dep' --username sa --password Server2008!  --table wht_b --fields-terminated-by '\001' --target-dir /user/hive/warehouse/sqlserverdb/wht_b1  --delete-target-dir  -m 1



导入到Hive

sqoop import --hive-import --connect 'jdbc:sqlserver://192.168.20.105:1433;databasename=dep' --username sa --password Server2008!  --table wht_b --hive-database  sqlserverdb --hive-table wht_b  --fields-terminated-by '\001' --hive-overwrite  -m 1



-------------PG------------

导入到HDFS

sqoop import --connect  jdbc:postgresql://192.168.20.104:5432/wht --username postgres --password Server2008!  --table wht_a --fields-terminated-by '\t' --target-dir /user/hive/warehouse/pgdb/wht_a  --delete-target-dir -m 1



导入到Hive

sqoop import --hive-import --connect  jdbc:postgresql://192.168.20.104:5432/wht --username postgres --password Server2008!  --table wht_a   --hive-database  pgdb --hive-table wht_a  --fields-terminated-by '\t' --hive-overwrite  -m 1








推荐阅读
  • MySQL语句大全:创建、授权、查询、修改等【MySQL】的使用方法详解
    本文详细介绍了MySQL语句的使用方法,包括创建用户、授权、查询、修改等操作。通过连接MySQL数据库,可以使用命令创建用户,并指定该用户在哪个主机上可以登录。同时,还可以设置用户的登录密码。通过本文,您可以全面了解MySQL语句的使用方法。 ... [详细]
  • 如何在php文件中添加图片?
    本文详细解答了如何在php文件中添加图片的问题,包括插入图片的代码、使用PHPword在载入模板中插入图片的方法,以及使用gd库生成不同类型的图像文件的示例。同时还介绍了如何生成一个正方形文件的步骤。希望对大家有所帮助。 ... [详细]
  • 本文介绍了在使用Laravel和sqlsrv连接到SQL Server 2016时,如何在插入查询中使用输出子句,并返回所需的值。同时讨论了使用CreatedOn字段返回最近创建的行的解决方法以及使用Eloquent模型创建后,值正确插入数据库但没有返回uniqueidentifier字段的问题。最后给出了一个示例代码。 ... [详细]
  • Oracle Database 10g许可授予信息及高级功能详解
    本文介绍了Oracle Database 10g许可授予信息及其中的高级功能,包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明,指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]
  • 使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • 如何在php中将mysql查询结果赋值给变量
    本文介绍了在php中将mysql查询结果赋值给变量的方法,包括从mysql表中查询count(学号)并赋值给一个变量,以及如何将sql中查询单条结果赋值给php页面的一个变量。同时还讨论了php调用mysql查询结果到变量的方法,并提供了示例代码。 ... [详细]
  • 本文介绍了在MacOS系统上安装MySQL的步骤,并详细说明了如何设置MySQL服务的开机启动和如何修改MySQL的密码。通过下载MySQL的macos版本并按照提示一步一步安装,在系统偏好设置中可以找到MySQL的图标进行设置。同时,还介绍了通过终端命令来修改MySQL的密码的具体操作步骤。 ... [详细]
  • 本文介绍了一个React Native新手在尝试将数据发布到服务器时遇到的问题,以及他的React Native代码和服务器端代码。他使用fetch方法将数据发送到服务器,但无法在服务器端读取/获取发布的数据。 ... [详细]
  • 本文介绍了Java后台Jsonp处理方法及其应用场景。首先解释了Jsonp是一个非官方的协议,它允许在服务器端通过Script tags返回至客户端,并通过javascript callback的形式实现跨域访问。然后介绍了JSON系统开发方法,它是一种面向数据结构的分析和设计方法,以活动为中心,将一连串的活动顺序组合成一个完整的工作进程。接着给出了一个客户端示例代码,使用了jQuery的ajax方法请求一个Jsonp数据。 ... [详细]
  • Flink使用java实现读取csv文件简单实例首先我们来看官方文档中给出的几种方法:首先我们来看官方文档中给出的几种方法:第一种:Da ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • MapReduce工作流程最详细解释
    MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型,MapReduce的计算过程被封装的很好,我们只用使用Map和Reduce函数,所以对其整体的计算过程不是太 ... [详细]
  • Zookeeper 总结与面试题汇总
    Zookeeper总结与面试题汇总,Go语言社区,Golang程序员人脉社 ... [详细]
  • 马蜂窝数据总监分享:从数仓到数据中台,大数据演进技术选型最优解
    大家好,今天分享的议题主要包括几大内容:带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程;我个人认为数 ... [详细]
author-avatar
小王子loving
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有