热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop集群配置Hue

Hue是一个轻量级的Web服务器,可让您直接从浏览器使用Hadoop。Hue只是一个“在任何Hadoop发行版之上的视图”,可以安装在任何机器上。官方文档在官方文档有多种方式(比

Hue是一个轻量级的Web服务器,可让您直接从浏览器使用HadoopHue只是一个“在任何Hadoop发行版之上的视图”,可以安装在任何机器上。

官方文档在官方文档

有多种方式(比如gethue.com的 “下载”部分)安装Hue。下一步就是将Hue配置为指向您的Hadoop集群默认情况下,Hue假定存在一个本地集群(即只有一台机器)。为了与真正的集群进行交互,Hue需要知道哪些主机分配了Hadoop服务。

hue.ini在哪里?(配置文件)

hue主要配置发生在hue.ini文件中。它列出了很多选项,但本质上什么是HDFS,YARN,Oozie,Hive的地址和端口...根据您安装的ini文件的分布位于:

  • CDH 包: /etc/hue/conf/hue.ini
  • tarball 版本: /usr/share/desktop/conf/hue.ini
  • 开发版本: desktop/conf/pseudo-distributed.ini
  • Cloudera Manager: CM 为你生成所有的hue.ini,所以没有麻烦? /var/run/cloudera-scm-agent/process/`ls -alrt /var/run/cloudera-scm-agent/process | grep HUE | tail -1 | awk ‘{print $9}’`/hue.ini
注意: 要覆盖Cloudera Manager中的值,需要从下面逐字逐句输入hue 安全阀 :色相服务→配置→全维修→高级→色调服务高级配置代码段(安全阀)hue_safety_valve.ini

这是官文的原话:Hue Safety Valve: Hue Service → Configuration → Service-Wide → Advanced → Hue Service Advanced Configuration Snippet (Safety Valve) for hue_safety_valve.ini

在任何时候,您都可以在/ desktop / dump_config页面上看到hue.ini的路径以及它的值然后,对于每个Hadoop服务,Hue包含一个需要使用正确的主机名和端口进行更新的部分。以下是ini文件中Hive部分的示例:

[beeswax]
 
  # Host where HiveServer2 is running.
  hive_server_host=localhost
要指向另一台服务器,只需用“hiveserver.ent.com”替换主机值:

[beeswax]
 
  # Host where HiveServer2 is running.
  hive_server_host=hiveserver.ent.com
注意: 任何以#开始的行都被视为注释,因此不被使用。
注意: 错误配置的服务列表在/ about / admin_wizard页面上列出。
注意: 每次更改ini文件后,应重新启动Hue以提取它。
注意:  在某些情况下,如Hadoop for Hue文档配置中所述,必须打开这些服务的API,并将Hue设置为代理用户。

删除应用程序

本文介绍如何配置Hue不显示某些应用程序。Hue的/ desktop / dump_config页面提供所有应用程序的列表。

以下是您需要更新的主要部分,以便在Hue中可以访问每个服务:

HDFS

这是列出或创建文件所必需的用NameNode的实际地址替换localhost(通常是http:// localhost:50070)。

在hdfs-site.xml中输入 在NameNode和DataNodes中启用WebHDFS:


  dfs.webhdfs.enabled
  true
将Hue配置为所有其他用户和组的代理用户,这意味着它可以代表任何其他用户提交请求。添加 核心的site.xml


  hadoop.proxyuser.hue.hosts
  *


  hadoop.proxyuser.hue.groups
  *
然后,如果Namenode在不同于Hue的主机上,请不要忘记在hue.ini中更新:

[hadoop]
 
  [[hdfs_clusters]]
 
    [[[default]]]
 
      # Enter the filesystem uri
      fs_defaultfs=hdfs://localhost:8020
 
      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      webhdfs_url=http://localhost:50070/webhdfs/v1

YARN

资源管理器默认通常在http:// localhost:8088上。ProxyServer和Job History服务器也需要指定。然后作业浏览器将让你 列出并杀死正在运行的应用程序 并获取他们的日志
[hadoop]
 
  [[yarn_clusters]]
 
    [[[default]]]
 
      # Enter the host on which you are running the ResourceManager
      resourcemanager_host=localhost     
 
      # Whether to submit jobs to this cluster
      submit_to=True
 
      # URL of the ResourceManager API
      resourcemanager_api_url=http://localhost:8088
 
      # URL of the ProxyServer API
      proxy_api_url=http://localhost:8088
 
      # URL of the HistoryServer API
      history_server_api_url=http://localhost:19888

Hive

这里我们需要一个运行HiveServer2来 发送SQL查询
[beeswax]
 
  # Host where HiveServer2 is running.
  hive_server_host=localhost
注意:
如果HiveServer2在另一台计算机上,并且您使用的是安全性或自定义的HiveServer2配置,则还需要在Hue计算机上复制hive-site.xml:
[beeswax]
 
  # Host where HiveServer2 is running.
  hive_server_host=localhost
 
  # Hive configuration directory, where hive-site.xml is located
  hive_conf_dir=/etc/hive/conf

Impala

我们需要在Impala应用程序中 Interactive SQL 指定一个Impalad地址
[impala]
 
  # Host of the Impala Server (one of the Impalad)
  server_host=localhost

Solr Search

我们只需要指定Solr Cloud(或非云Solr)的地址,然后 交互式仪表盘 功能就释放了!
[search]
 
  # URL of the Solr Server
  solr_url=http://localhost:8983/solr/

Oozie

提交或监控工作流程 之前,应该启动并运行Oozie服务器
[liboozie]
 
  # The URL where the Oozie service runs on.
  oozie_url=http://localhost:11000/oozie

Pig

Pig的编辑要求 Oozie 设置其 sharelib。

HBase

HBase应用程序使用HBase Thrift Server版本1.它可以让您 浏览,查询和编辑HBase表格
[hbase]
 
  # Comma-separated list of HBase Thrift server 1 for clusters in the format of '(name|host:port)'.
 hbase_clusters=(Cluster|localhost:9090)

Sentry

Hue只需要指向运行Sentry服务器的机器。
[libsentry]
 
  # Hostname or IP of server.
  hostname=localhost

而就是这样!现在Hue会让你直接从你的浏览器做大数据,而不必接触命令行!然后你可以跟进一些 教程


推荐阅读
  • 本文介绍了 Go 语言中的高性能、可扩展、轻量级 Web 框架 Echo。Echo 框架简单易用,仅需几行代码即可启动一个高性能 HTTP 服务。 ... [详细]
  • 直播带货系统中的推流技术详解
    本文介绍了RTMP(实时消息传输协议)及其在直播带货系统中的应用,并详细探讨了带货直播系统的连麦方案,包括服务端合流和客户端合流的优势与劣势。 ... [详细]
  • PHP 5.5.31 和 PHP 5.6.17 安全更新发布
    PHP 5.5.31 和 PHP 5.6.17 已正式发布,主要包含多个安全修复。强烈建议所有用户尽快升级至最新版本以确保系统安全。 ... [详细]
  • 为什么多数程序员难以成为架构师?
    探讨80%的程序员为何难以晋升为架构师,涉及技术深度、经验积累和综合能力等方面。本文将详细解析Tomcat的配置和服务组件,帮助读者理解其内部机制。 ... [详细]
  • 基于iSCSI的SQL Server 2012群集测试(一)SQL群集安装
    一、测试需求介绍与准备公司计划服务器迁移过程计划同时上线SQLServer2012,引入SQLServer2012群集提高高可用性,需要对SQLServ ... [详细]
  • 网站访问全流程解析
    本文详细介绍了从用户在浏览器中输入一个域名(如www.yy.com)到页面完全展示的整个过程,包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]
  • 本文深入解析了 Kubernetes 控制平面(特别是 API 服务器)与集群节点之间的通信机制,并对其通信路径进行了详细分类。旨在帮助用户更好地理解和定制其安装配置,从而增强网络安全性,确保集群的稳定运行。 ... [详细]
  • 本文详细介绍了 InfluxDB、collectd 和 Grafana 的安装与配置流程。首先,按照启动顺序依次安装并配置 InfluxDB、collectd 和 Grafana。InfluxDB 作为时序数据库,用于存储时间序列数据;collectd 负责数据的采集与传输;Grafana 则用于数据的可视化展示。文中提供了 collectd 的官方文档链接,便于用户参考和进一步了解其配置选项。通过本指南,读者可以轻松搭建一个高效的数据监控系统。 ... [详细]
  • 本文整理了一份基础的嵌入式Linux工程师笔试题,涵盖填空题、编程题和简答题,旨在帮助考生更好地准备考试。 ... [详细]
  • 本文介绍了如何在 Spring Boot 项目中使用 spring-boot-starter-quartz 组件实现定时任务,并将 cron 表达式存储在数据库中,以便动态调整任务执行频率。 ... [详细]
  • 检查 Kubernetes 系统命名空间中的 Pod 状态时,发现 Metric Server Pod 虽然处于运行状态,但存在异常:日志显示 'it doesn’t contain any IP SANs'。 ... [详细]
  • 大势至服务器文件备份系统是一款专为服务器数据保护设计的安全软件,能够实现自动化的全量备份和增量备份,支持多种备份目标,如服务器其他分区、外接硬盘、其他服务器或NAS存储空间,并提供灵活的备份频率设置,有效保障服务器文件的安全。 ... [详细]
  • 本文详细介绍了MySQL数据库服务器(mysqld)和客户端(mysql)的区别,并提供了多种启动和关闭MySQL服务器的方法。通过这些方法,您可以更好地管理和维护MySQL数据库。 ... [详细]
  • IOS Run loop详解
    为什么80%的码农都做不了架构师?转自http:blog.csdn.netztp800201articledetails9240913感谢作者分享Objecti ... [详细]
  • Linux CentOS 7 安装PostgreSQL 9.5.17 (源码编译)
    近日需要将PostgreSQL数据库从Windows中迁移到Linux中,LinuxCentOS7安装PostgreSQL9.5.17安装过程特此记录。安装环境&#x ... [详细]
author-avatar
cryy5bl-1940
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有