热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

【Hadoop离线基础总结】Hue的简单介绍和安装部署

目录Hue的简单介绍概述核心功能安装部署下载Hue的压缩包并上传到linux解压编译安装启动启动Hue进程hue与其他框架的集成Hue与Hadoop集成Hue与Hive集成Hue与

目录

      • Hue的简单介绍
          • 概述
          • 核心功能
      • 安装部署
          • 下载Hue的压缩包并上传到linux解压
          • 编译安装启动
          • 启动Hue进程
      • hue与其他框架的集成
          • Hue与Hadoop集成
          • Hue与Hive集成
          • Hue与Impala集成
          • Hue与Mysql集成
          • Hue与oozie集成


Hue的简单介绍

  • 概述

    CDH Hue官方帮助文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html

    Hue是一组能够与Hadoop集群进行交互的web应用程序。Hue应用程序允许开发者浏览HDFS和作业、管理Hive metastore、运行Hive、Cloudera Impala查询和Pig脚本、浏览HBase、用Sqoop导出数据、提交MapReduce程序、用Solr构建自定义搜索引擎、用Oozie安排重复的工作流程。
    下图说明了Hue的工作原理。Hue服务器是一个位于CDH和浏览器之间的 “容器” web应用程序。它托管所有的Hue web应用程序,并与CDH组件通信。
    【Hadoop离线基础总结】Hue的简单介绍和安装部署

  • 核心功能

    1.访问HDFS和文件浏览
    2.通过web调试和开发hive以及数据结果展示
    3.查询solr和结果展示,报表生成
    4.通过web调试和开发impala交互式SQL Query
    5.spark调试和开发
    7.oozie任务的开发,监控,和工作流协调调度
    8.Hbase数据查询和修改,数据展示
    9.Hive的元数据(metastore)查询
    10.MapReduce任务进度查看,日志追踪
    11.创建和提交MapReduce,Streaming,Java job任务
    12.Sqoop2的开发和调试
    13.Zookeeper的浏览和编辑
    14.数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示


安装部署

  • 下载Hue的压缩包并上传到linux解压

    下载地址:http://archive.cloudera.com/cdh5/cdh/5/
    要选择匹配自己CDH的版本,我的是:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
    上传到/export/softwares,并解压tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/

  • 编译安装启动

    1.linux系统安装依赖包

    yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
    

    2.配置Hue
    cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
    vim hue.ini 最好别用vim编辑,Windows系统用Notepad++,Mac OS用FinalShell
    修改以下内容

    [desktop]
    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn
    [[database]]		(在587行)
    engine=mysql
    host=node03.hadoop.com
    port=3306
    user=root
    password=123456
    name=hue
    

    3.创建mysql数据库
    create database hue default character set utf8 default collate utf8_general_ci; 创建hue数据库
    grant all on hue.* to 'hue'@'%' identified by 'hue'; 实际工作过程中是需要为hue这个数据库创建对应的用户,并分配权限的,但是个人开发者可以使用root用户的权限,所以这个命令不需要执行

    4.进行编译

    cd /export/servers/hue-3.9.0-cdh5.14.0
    make apps
    

    5.linux系统添加普通用户hue

    useradd hue
    passwd hue(密码自用的话也可以设置成123456,好记)
    
  • 启动Hue进程
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor
    

    页面访问: http://node03:8888 如果连接不上,把node03换成ip地址
    初次访问的页面需要设置管理员用户名和密码,最好设置得和Hadoop用户名和密码一致


hue与其他框架的集成

  • Hue与Hadoop集成

    查看文章:【Hadoop离线基础总结】Hue与Hadoop集成

  • Hue与Hive集成

    查看文章:【Hadoop离线基础总结】Hue与Hive集成

  • Hue与Impala集成

    查看文章:【Hadoop离线基础总结】Hue与Impala集成

  • Hue与Mysql集成

    查看文章:【Hadoop离线基础总结】Hue与Mysql集成

  • Hue与oozie集成

    查看文章:【Hadoop离线基础总结】Hue与oozie集成


推荐阅读
author-avatar
妖精的尾巴的阿鲁哈
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有