热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

SQOOP抽取各类型数据库脚本示例

------------MySQL------------导入到HDFSsqoopimport--connectjdbc:mysql:localhost:3306wht--us
------------MySQL------------

导入到HDFS

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table people --fields-terminated-by ',' --target-dir /user/hive/warehouse/cust --delete-target-dir --null-string '' --null-non-string ''   -m 1



导入到Hive

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table people --fields-terminated-by ','  --hive-import --hive-table db01.peopleseq --hive-overwrite  -m 1



---------------ORACLE------------



导入到HDFS

sqoop import --connect jdbc:oracle:thin:@192.168.20.104:1521:xe --username dep --password Dep2018 --table WHT_C --fields-terminated-by '\001' --target-dir /user/hive/warehouse/oracledb/wht_c  --delete-target-dir -m 1





导入到Hive

sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.20.104:1521:xe --username dep --password Dep2018 --table WHT_C --hive-database  oracledb --hive-table wht_c --fields-terminated-by '\001' --hive-overwrite  -m 1



------------DB2------------

导入到HDFS

sqoop import --connect jdbc:db2://192.168.20.104:60000/dep --username db2inst1 --password Server2008! --table wht_test  --fields-terminated-by '\001' --target-dir --delete-target-dir   /user/hive/warehouse/db2db/wht_test  -m 1



sqoop import --hive-import --connect jdbc:db2://192.168.20.104:60000/dep --username db2inst1 --password Server2008! --table wht_test --hive-database  db2db --hive-table wht_test --fields-terminated-by '\001' --hive-overwrite  -m 1



------------SQL SERVER------------

导入到HDFS

sqoop import --connect 'jdbc:sqlserver://192.168.20.105:1433;databasename=dep' --username sa --password Server2008!  --table wht_b --fields-terminated-by '\001' --target-dir /user/hive/warehouse/sqlserverdb/wht_b1  --delete-target-dir  -m 1



导入到Hive

sqoop import --hive-import --connect 'jdbc:sqlserver://192.168.20.105:1433;databasename=dep' --username sa --password Server2008!  --table wht_b --hive-database  sqlserverdb --hive-table wht_b  --fields-terminated-by '\001' --hive-overwrite  -m 1



-------------PG------------

导入到HDFS

sqoop import --connect  jdbc:postgresql://192.168.20.104:5432/wht --username postgres --password Server2008!  --table wht_a --fields-terminated-by '\t' --target-dir /user/hive/warehouse/pgdb/wht_a  --delete-target-dir -m 1



导入到Hive

sqoop import --hive-import --connect  jdbc:postgresql://192.168.20.104:5432/wht --username postgres --password Server2008!  --table wht_a   --hive-database  pgdb --hive-table wht_a  --fields-terminated-by '\t' --hive-overwrite  -m 1








推荐阅读
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • DAO(Data Access Object)模式是一种用于抽象和封装所有对数据库或其他持久化机制访问的方法,它通过提供一个统一的接口来隐藏底层数据访问的复杂性。 ... [详细]
  • php更新数据库字段的函数是,php更新数据库字段的函数是 ... [详细]
  • 在 Axublog 1.1.0 版本的 `c_login.php` 文件中发现了一个严重的 SQL 注入漏洞。该漏洞允许攻击者通过操纵登录请求中的参数,注入恶意 SQL 代码,从而可能获取敏感信息或对数据库进行未授权操作。建议用户尽快更新到最新版本并采取相应的安全措施以防止潜在的风险。 ... [详细]
  • 技术日志:深入探讨Spark Streaming与Spark SQL的融合应用
    技术日志:深入探讨Spark Streaming与Spark SQL的融合应用 ... [详细]
  • 如何在Java中使用DButils类
    这期内容当中小编将会给大家带来有关如何在Java中使用DButils类,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。D ... [详细]
  • 在使用 Cacti 进行监控时,发现已运行的转码机未产生流量,导致 Cacti 监控界面显示该转码机处于宕机状态。进一步检查 Cacti 日志,发现数据库中存在 SQL 查询失败的问题,错误代码为 145。此问题可能是由于数据库表损坏或索引失效所致,建议对相关表进行修复操作以恢复监控功能。 ... [详细]
  • 基于Net Core 3.0与Web API的前后端分离开发:Vue.js在前端的应用
    本文介绍了如何使用Net Core 3.0和Web API进行前后端分离开发,并重点探讨了Vue.js在前端的应用。后端采用MySQL数据库和EF Core框架进行数据操作,开发环境为Windows 10和Visual Studio 2019,MySQL服务器版本为8.0.16。文章详细描述了API项目的创建过程、启动步骤以及必要的插件安装,为开发者提供了一套完整的开发指南。 ... [详细]
  • Unity与MySQL连接过程中出现的新挑战及解决方案探析 ... [详细]
  • 本文介绍了如何利用Struts1框架构建一个简易的四则运算计算器。通过采用DispatchAction来处理不同类型的计算请求,并使用动态Form来优化开发流程,确保代码的简洁性和可维护性。同时,系统提供了用户友好的错误提示,以增强用户体验。 ... [详细]
  • 在本文中,我们将探讨如何在Docker环境中高效地管理和利用数据库。首先,需要安装Docker Desktop以确保本地环境准备就绪。接下来,可以从Docker Hub中选择合适的数据库镜像,并通过简单的命令将其拉取到本地。此外,我们还将介绍如何配置和优化这些数据库容器,以实现最佳性能和安全性。 ... [详细]
  • 利用爬虫技术抓取数据,结合Fiddler与Postman在Chrome中的应用优化提交流程
    本文探讨了如何利用爬虫技术抓取目标网站的数据,并结合Fiddler和Postman工具在Chrome浏览器中的应用,优化数据提交流程。通过详细的抓包分析和模拟提交,有效提升了数据抓取的效率和准确性。此外,文章还介绍了如何使用这些工具进行调试和优化,为开发者提供了实用的操作指南。 ... [详细]
  • Amoeba 通过优化 MySQL 的读写分离功能显著提升了数据库性能。作为一款基于 MySQL 协议的代理工具,Amoeba 能够高效地处理应用程序的请求,并根据预设的规则将 SQL 请求智能地分配到不同的数据库实例,从而实现负载均衡和高可用性。该方案不仅提高了系统的并发处理能力,还有效减少了主数据库的负担,确保了数据的一致性和可靠性。 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
author-avatar
小王子loving
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有