热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hive1.1.0cdh5.7.0编译及部署

1.环境准备1)虚拟机为VM102)Linux系统为centos6.53)Hadoop为hadoop-2.6.0-cdh5.7.04)JDK为jdk-7u80-linux-x64.

1.环境准备

1)虚拟机为VM10

2)Linux系统为centos6.5

3)Hadoop为hadoop-2.6.0-cdh5.7.0

4)JDK为jdk-7u80-linux-x64.tar.gz

5)Maven为apache-maven-3.3.9-bin.zip

6)MySQL为mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz

【以上环境必须提前装备好】

mysql已经部署在用户mysqladmin下,家目录:/usr/local/mysql,用户名root,密码123456

详细步骤见之前文章《MySQL部署》

2.Hive-1.1.0-cdh5.7.0编译

1)下载

下载/hive-1.1.0-cdh5.7.0-src.tar.gz

下载地址:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz

2)上传(rz)

上传hive-1.1.0-cdh5.7.0-src.tar.gz至/home/hadoop/source

3)解压

[hadoop@hadoop001 source]$ tar -zxvf hadoop-2.6.0-cdh5.7.0-src.tar.gz

解压后注意观察解压后文件夹的用户、用户组对不对,不对的话chown -R XXX:XXX dir一下

4)编译

[hadoop@hadoop001 ~]$ cd source/hive-1.1.0-cdh5.7.0

[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ pwd

/home/hadoop/source/hive-1.1.0-cdh5.7.0

[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ mvn clean package -DskipTests -Phadoop-2 -Pdist

《Hive-1.1.0-cdh5.7.0编译及部署》

3.hive部署

1)解压编译好的hive安装包

将编译好的apache-hive-1.1.0-cdh5.7.0-bin.tar.gz移至/home/hadoop/software

【也可以直接下载hive安装包,下载链接:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz】

[hadoop@hadoop001 software]$  tar -zxvf apache-hive-1.1.0-cdh5.7.0-bin.tar.gz -C ~/app/

2)配置环境变量

[hadoop@hadoop001 ~]$ vi .bash_profile

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

        . ~/.bashrc

fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

export JAVA_HOME=/usr/java/jdk1.7.0_80

export MVN_HOME=/home/hadoop/app/apache-maven-3.3.9

export FINDBUGS_HOME=/home/hadoop/app/findbugs-1.3.9

export PROTOC_HOME=/usr/local/protobuf

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

export PATH=$HIVE_HOME/bin:$HADOOP_HOME/bin:$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:$PATH

[hadoop@hadoop001 ~]$ source .bash_profile

3)修改配置文件

[hadoop@hadoop001 ~]$ cd /home/hadoop/app/hive-1.1.0-cdh5.7.0/conf

[hadoop@hadoop001 conf]$ cp hive-env.sh.template hive-env.sh

[hadoop@hadoop001 conf]$ vi hive-env.sh

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0

[hadoop@hadoop001 conf]$ vi hive-site.xml

《Hive-1.1.0-cdh5.7.0编译及部署》

4)拷贝驱动:

cp mysql-connector-java-5.1.27.jar $HIVE_HOME/lib

驱动下载地址:http://search.maven.org

搜索mysql-connector-java

选择5.1.27版本下载

《Hive-1.1.0-cdh5.7.0编译及部署》

4.启动hdfs和mysql

[hadoop@hadoop001 ~]$ cd $HADOOP_HOME/sbin

[hadoop@hadoop001 sbin]$ ./start-dfs.sh

[hadoop@hadoop001 ~]$ jps

4066 DataNode

5510 Jps

4201 SecondaryNameNode

3976 NameNode

[root@hadoop001 ~]# su – mysqladmin

[mysqladmin@hadoop001 ~]$ service mysql start

Starting MySQL………….                                [  OK  ]

5.启动hive

[hadoop@hadoop001 ~]$ cd /home/hadoop/app/hive-1.1.0-cdh5.7.0/bin

[hadoop@hadoop001 bin]$ ./hive

《Hive-1.1.0-cdh5.7.0编译及部署》

hive> show tables;

OK

Time taken: 0.171 seconds

配置文件里的数据库ruozedata_basic03在mysql里可以看到

mysql> show databases;

《Hive-1.1.0-cdh5.7.0编译及部署》


推荐阅读
  • Windows 7 64位系统下Redis的安装与PHP Redis扩展配置
    本文详细介绍了在Windows 7 64位操作系统中安装Redis以及配置PHP Redis扩展的方法,包括下载、安装和基本使用步骤。适合对Redis和PHP集成感兴趣的开发人员参考。 ... [详细]
  • 本文详细记录了在银河麒麟操作系统和龙芯架构上使用 Qt 5.15.2 进行项目打包时遇到的问题及解决方案,特别关注于 linuxdeployqt 工具的应用。 ... [详细]
  • 本文详细介绍了Linux系统中init进程的作用及其启动过程,解释了运行级别的概念,并提供了调整服务启动顺序的具体步骤和实例。通过了解这些内容,用户可以更好地管理系统的启动流程和服务配置。 ... [详细]
  • 本文详细介绍了如何准备和安装 Eclipse 开发环境及其相关插件,包括 JDK、Tomcat、Struts 等组件的安装步骤及配置方法。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
  • 本文详细介绍了C语言的起源、发展及其标准化过程,涵盖了从早期的BCPL和B语言到现代C语言的演变,并探讨了其在操作系统和跨平台编程中的重要地位。 ... [详细]
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • 嵌入式开发环境搭建与文件传输指南
    本文详细介绍了如何为嵌入式应用开发搭建必要的软硬件环境,并提供了通过串口和网线两种方式将文件传输到开发板的具体步骤。适合Linux开发初学者参考。 ... [详细]
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 离线安装Grafana Cloudera Manager插件并监控CDH集群
    本文详细介绍如何离线安装Cloudera Manager (CM) 插件,并通过Grafana监控CDH集群的健康状况和资源使用情况。该插件利用CM提供的API接口进行数据获取和展示。 ... [详细]
  • CentOS 7.6环境下Prometheus与Grafana的集成部署指南
    本文旨在提供一套详细的步骤,指导读者如何在CentOS 7.6操作系统上成功安装和配置Prometheus 2.17.1及Grafana 6.7.2-1,实现高效的数据监控与可视化。 ... [详细]
  • 本文详细介绍了 Linux 系统中用户、组和文件权限的设置方法,包括基本权限(读、写、执行)、特殊权限(SUID、SGID、Sticky Bit)以及相关配置文件的使用。 ... [详细]
  • 在创建新的Android项目时,您可能会遇到aapt错误,提示无法打开libstdc++.so.6共享对象文件。本文将探讨该问题的原因及解决方案。 ... [详细]
  • 深入解析Hadoop的核心组件与工作原理
    本文详细介绍了Hadoop的三大核心组件:分布式文件系统HDFS、资源管理器YARN和分布式计算框架MapReduce。通过分析这些组件的工作机制,帮助读者更好地理解Hadoop的架构及其在大数据处理中的应用。 ... [详细]
  • Google排名优化-面向Google(Search Engine Friendly)的URL设计 ... [详细]
author-avatar
kafei
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有