热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

第七章伪分布式安装hive,sqoop

第一部分:先讲这么去安装hive.先去hive官网下载,我这里以hive-0.12.0为例子。前面第二章讲了安装hadoop,hbase实例,我们继续讲这么安装hive,先说下hive配置文件

 

 第一部分:先讲这么去安装hive.先去hive官网下载,我这里以hive-0.12.0为例子。

前面第二章讲了安装hadoop,hbase实例,我们继续讲这么安装hive,先说下hive配置文件

一,先讲下使用Derby数据库的安装方式

1.tar zxvf hive-0.12.0.tar.gz     解压hive

2.sudo nano   /etc/profile      配置环境变量,在原有的基础上加上hive配置

在终端输入   source   /etc/profile   使环境变量对当前终端有效

3.cd    /home/hadoop/hive-0.12.0/conf

默认配置文档不存在,所以我们根据模板创建另外2个配置文件,或者还有个方法,就是把原有4个配置文档后面的template删除

cp  hive-default.xml.template  hive-site.xml  

cp  hive-env.sh.template   hive-env.sh

4.sudo nano  hive-env.sh     修改hive-env.sh配置文件

5.sudo nano hive-site.xml文件,在文件的2000行,有一个不对称

把它修改过来就OK了

6.进入到hive的conf目录下,启动hive

 

二,使用MySQL数据库的安装方式

注意:配置mysql远程连接必须是root用户 

1.先安装mysql服务器

sudo apt-get install mysql-server   

2.安装完一搬都自动启动mysql了,如果没有启动,你在输入:

/etc/init.d/mysql start

如果启动了,就登陆mysql

mysql -u root -p

enter password :'123456'

3.设置远程操作mysql权限

GRANT ALL PRIVILEGES ON *.* to root @"%" identified by "123456";                  

flush privileges;  
 
4.建立hive数据库
create database hive;
选择你所创建的数据库
mysql> use hive; (按回车键出现Database changed 时说明操作成功!)
查看现在的数据库中存在什么表
mysql> show tables;
创建一个数据库表
mysql> create table hive(name VARCHAR(20), sex CHAR(1));
显示表的结构:
mysql> describe hive;
7:往表中加入记录
mysql>
insert into hive values (”hyq”,”M”);
 
4.安装hive还是跟上面一样,只是要修改下 hive-site.xml这个文件
1 < property >
2   < name >javax.jdo.option.ConnectionURL name >
3   < value >jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8 value >
4   < description >JDBC connect string for a JDBC metastore description >
5 property >
6
7 < property >
8   < name >javax.jdo.option.ConnectionDriverName name >
9   < value >com.mysql.jdbc.Driver value >
10   < description >Driver class name for a JDBC metastore description >
11 property >
12
13 < property >
14   < name >javax.jdo.PersistenceManagerFactoryClass name >
15   < value >org.datanucleus.jdo.JDOPersistenceManagerFactory value >
16   < description >class implementing the jdo persistence description >
17 property >
18
19 < property >
20   < name >javax.jdo.option.DetachAllOnCommit name >
21   < value >true value >
22   < description >detaches all objects from session so that they can be used after transaction is committed description >
23 property >
24
25 < property >
26   < name >javax.jdo.option.NonTransactionalRead name >
27   < value >true value >
28   < description >reads outside of transactions description >
29 property >
30
31 < property >
32   < name >javax.jdo.option.ConnectionUserName name >
33   < value >root value >
34   < description >username to use against metastore database description >
35 property >
36
37 < property >
38   < name >javax.jdo.option.ConnectionPassword name >
39   < value >123456 value >
40   < description >password to use against metastore database description >
41 property >
 
5.进入到hive的conf目录下,启动hive
 
 
 
 
 
 
远程使用Navicat for mysql 客户端软件连接 mySql数据时,连接出现 2003-Can’t connect to MySQL on ’192.168.1.2’(10061)错误时,是由于MySQL不准许远程连接。

修改方法如下:

1:在服务端MySQL文件夹下找到my.ini文件。修改bind-address=127.0.0.1 bind-address=0.0.0.0

2:重新启动MySQL服务。

测试连接情况:

如果没有给远程登录用户添加所有机器都能访问的权限,将会出现“1045-Access denied for user ‘root@223123(using password:NO)”,这表明需要添加权限;

添加命令如下:

1grant all on *.* to 用户名@"%" identified by "密码";

2flush privileges;

 

完成以上步骤,就可以远程访问MySQL数据库了。

 

第二部分,讲下这么安装sqoop

1.先去官网下载sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz版本

2.在hadoop用户下,进行解压

tar  zxvf    sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

3.配置环境变量    /etc/profile

sudo    nano    /etc/profile,在文件的末尾,把jdk,hadoop,hbase,hive,sqoop等一些工具都要进行配置

记住,sqoop文件不要写错。

4.把mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib文件里,然后把sqoop文件里的sqoop-1.4.4.jar放到

$HADOOP_HOME/lib文件下面

5.如果你没有用到hbase或者 hcat  ,修改SQOOP的文件bin/configure-sqoop

sudo  nano  sqoop-1.4.4.bin__hadoop-1.0.0/bin/configure-sqoop,按照下面的注释掉

#if [ ! -d "${HBASE_HOME}" ]; then
 #echo "Warning: $HBASE_HOME does not exist! HBase imports will fail."
 #echo 'Please set $HBASE_HOME to the root of your HBase installation.'
#fi

 

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
 # echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
  #echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
#fi

 

这样子,sqoop就装成功了,测试

cd   #SQOOP_HOME/bin,代表sqoop环境配置没有问题

 

sqoop version ,可以看到sqoop的信息

 

 

 

 

 

 

 

 

 


推荐阅读
  • Java太阳系小游戏分析和源码详解
    本文介绍了一个基于Java的太阳系小游戏的分析和源码详解。通过对面向对象的知识的学习和实践,作者实现了太阳系各行星绕太阳转的效果。文章详细介绍了游戏的设计思路和源码结构,包括工具类、常量、图片加载、面板等。通过这个小游戏的制作,读者可以巩固和应用所学的知识,如类的继承、方法的重载与重写、多态和封装等。 ... [详细]
  • Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍,以及getBeansOfType方法的应用,解决了在实际工作中遇到的接口及多个实现类的问题。同时,文章还提到了SPI使用的不便之处,并介绍了借助ApplicationContext实现需求的方法。阅读本文,你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • 本文讨论了一个关于cuowu类的问题,作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案,并给出了两个可能导致错误的原因。 ... [详细]
  • Java如何导入和导出Excel文件的方法和步骤详解
    本文详细介绍了在SpringBoot中使用Java导入和导出Excel文件的方法和步骤,包括添加操作Excel的依赖、自定义注解等。文章还提供了示例代码,并将代码上传至GitHub供访问。 ... [详细]
  • Iamtryingtomakeaclassthatwillreadatextfileofnamesintoanarray,thenreturnthatarra ... [详细]
  • 本文介绍了使用Java实现大数乘法的分治算法,包括输入数据的处理、普通大数乘法的结果和Karatsuba大数乘法的结果。通过改变long类型可以适应不同范围的大数乘法计算。 ... [详细]
  • 开发笔记:加密&json&StringIO模块&BytesIO模块
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识,希望对你有一定的参考价值。一、加密加密 ... [详细]
  • Java容器中的compareto方法排序原理解析
    本文从源码解析Java容器中的compareto方法的排序原理,讲解了在使用数组存储数据时的限制以及存储效率的问题。同时提到了Redis的五大数据结构和list、set等知识点,回忆了作者大学时代的Java学习经历。文章以作者做的思维导图作为目录,展示了整个讲解过程。 ... [详细]
  • 本文讨论了如何优化解决hdu 1003 java题目的动态规划方法,通过分析加法规则和最大和的性质,提出了一种优化的思路。具体方法是,当从1加到n为负时,即sum(1,n)sum(n,s),可以继续加法计算。同时,还考虑了两种特殊情况:都是负数的情况和有0的情况。最后,通过使用Scanner类来获取输入数据。 ... [详细]
  • 本文介绍了OC学习笔记中的@property和@synthesize,包括属性的定义和合成的使用方法。通过示例代码详细讲解了@property和@synthesize的作用和用法。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 本文详细介绍了在ASP.NET中获取插入记录的ID的几种方法,包括使用SCOPE_IDENTITY()和IDENT_CURRENT()函数,以及通过ExecuteReader方法执行SQL语句获取ID的步骤。同时,还提供了使用这些方法的示例代码和注意事项。对于需要获取表中最后一个插入操作所产生的ID或马上使用刚插入的新记录ID的开发者来说,本文提供了一些有用的技巧和建议。 ... [详细]
  • 个人学习使用:谨慎参考1Client类importcom.thoughtworks.gauge.Step;importcom.thoughtworks.gauge.T ... [详细]
  • 本文介绍了一个Java猜拳小游戏的代码,通过使用Scanner类获取用户输入的拳的数字,并随机生成计算机的拳,然后判断胜负。该游戏可以选择剪刀、石头、布三种拳,通过比较两者的拳来决定胜负。 ... [详细]
  • 关键词:Golang, Cookie, 跟踪位置, net/http/cookiejar, package main, golang.org/x/net/publicsuffix, io/ioutil, log, net/http, net/http/cookiejar ... [详细]
author-avatar
左文欣936
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有