热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

sqoop的安装和使用方法

这篇文章主要讲解了“sqoop的安装和使用方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“s

这篇文章主要讲解了“sqoop的安装和使用方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“sqoop的安装和使用方法”吧!

#解压包  从http://sqoop.apache.org/ 下载。

tar -xvf sqoop-1.4.5.tar.gz 

ln -s sqoop-1.4.5.bin__hadoop-2.5.0 sqoop

#设置环境变量  加到~/.bashrc中

export SQOOP_HOME=/opt/huawei/hbase/sqoop

export PATH=$SQOOP_HOME/bin:$PATH

# 将oracle的 jdbc jar导入进来即可。

cp /opt/oracle/product/11g/db/sqldeveloper/jdbc/lib/ojdbc14.jar /opt/huawei/hbase/sqoop/lib/   

#修改配置文件

cd /home/mycluster/sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

 

vi sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/huawei/hbase/hadoop-2.5.0

export HADOOP_MAPRED_HOME=/opt/huawei/hbase/hadoop-2.5.0/share/hadoop/mapreduce

#测试链接oracle是否正常,如果返回数据库列表即可

sqoop list-databases --connect jdbc:oracle:thin:@192.168.193.37:1521:hispacedb --username hwmarket --password hwmarket37

====  常见错误 =======

# 当报错找不到NoSuchMethod 等错误时 表示找不到mapreduce的jar包 是环境变量导致的。 就直接把mapreduce的jar copy过去。

copy ~/hadoop-2.5.0/share/hadoop/mapreduce/*.jar ~/sqoop/lib/

参考: http://blog.csdn.net/zhangzhaokun/article/details/44313531

#出现下面错误:

Error: Could not find or load main class org.apache.sqoop.Sqoop

解决办法: http://blog.chinaunix.net/uid-22948773-id-3563685.html

缺少JAR 包, 将sqoop-1.4.5.jar 包放入到 sqoop/lib/ 目录下。

jar 可以从 

http://mirror.bit.edu.cn/apache/sqoop/1.4.5/sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz 里面找。

感谢各位的阅读,以上就是“sqoop的安装和使用方法”的内容了,经过本文的学习后,相信大家对sqoop的安装和使用方法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程笔记,小编将为大家推送更多相关知识点的文章,欢迎关注!


推荐阅读
  • Maven + Spring + MyBatis + MySQL 环境搭建与实例解析
    本文详细介绍如何使用MySQL数据库进行环境搭建,包括创建数据库表并插入示例数据。随后,逐步指导如何配置Maven项目,整合Spring框架与MyBatis,实现高效的数据访问。 ... [详细]
  • 本文探讨了Android系统中联系人数据库的设计,特别是AbstractContactsProvider类的作用与实现。文章提供了对源代码的详细分析,并解释了该类如何支持跨数据库操作及事务处理。源代码可从官方Android网站下载。 ... [详细]
  • 使用 ModelAttribute 实现页面数据自动填充
    本文介绍了如何利用 Spring MVC 中的 ModelAttribute 注解,在页面跳转后自动填充表单数据。主要探讨了两种实现方法及其背后的原理。 ... [详细]
  • 本文详细介绍了Apache Spark 2.2.0版本中集群模式的基本概念和工作流程,包括如何通过集群管理器分配资源,以及Spark应用程序在集群中的运行机制。链接:http://spark.apache.org/docs/2.2.0/cluster-overview.html ... [详细]
  • 如何使用Maven将依赖插件一并打包进JAR文件
    本文详细介绍了在使用Maven构建项目时,如何将所需的依赖插件一同打包进最终的JAR文件中,以避免手动部署依赖库的麻烦。 ... [详细]
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • 本文由chszs撰写,详细介绍了Apache Mina框架的核心开发流程及自定义协议处理方法。文章涵盖从创建IoService实例到协议编解码的具体步骤,适合希望深入了解Mina框架应用的开发者。 ... [详细]
  • Spring Security基础配置详解
    本文详细介绍了Spring Security的基础配置方法,包括如何搭建Maven多模块工程以及具体的安全配置步骤,帮助开发者更好地理解和应用这一强大的安全框架。 ... [详细]
  • 本文详细介绍如何在 Apache 中设置虚拟主机,包括基本配置和高级设置,帮助用户更好地理解和使用虚拟主机功能。 ... [详细]
  • 搭建个人博客:WordPress安装详解
    计划建立个人博客来分享生活与工作的见解和经验,选择WordPress是因为它专为博客设计,功能强大且易于使用。 ... [详细]
  • 本文详细介绍了在 CentOS 系统中如何创建和管理 SWAP 分区,包括临时创建交换文件、永久性增加交换空间的方法,以及如何手动释放内存缓存。 ... [详细]
  • Jupyter Notebook多语言环境搭建指南
    本文详细介绍了如何在Linux环境下为Jupyter Notebook配置Python、Python3、R及Go四种编程语言的环境,包括必要的软件安装和配置步骤。 ... [详细]
  • Android与JUnit集成测试实践
    本文探讨了如何在Android项目中集成JUnit进行单元测试,并详细介绍了修改AndroidManifest.xml文件以支持测试的方法。 ... [详细]
  • 本文探讨了在Windows系统中运行Apache服务器时频繁出现崩溃的问题,并提供了多种可能的解决方案和建议。错误日志显示多个子进程因达到最大请求限制而退出。 ... [详细]
  • 在尝试通过自定义端口部署Spring Cloud Eureka时遇到了连接失败的问题。本文详细描述了问题的现象,并提供了有效的解决方案,以帮助遇到类似情况的开发者。 ... [详细]
author-avatar
lippor
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有