热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

CDHhadoop生态的所有组件路径

目录一、CDH自身组件1、cloudera-scm-server2、cloudera-scm-agent二、Hadoop生态组件1、hadoop2、hive3、hba

目录

一、CDH自身组件

1、cloudera-scm-server

2、cloudera-scm-agent

二、Hadoop生态组件

1、hadoop

2、hive

3、hbase

4、zookeeper

5、spark

三、CDH 加载的环境变量 




一、CDH自身组件


1、cloudera-scm-server


/etc/cloudera-scm-server/    



2、cloudera-scm-agent


/etc/cloudera-scm-agent/



二、Hadoop生态组件

hadoop组件启动的脚本文件:


/etc/alternatives/


hadoop生态组件执行路径:


/opt/cloudera/parcels/CDH/bin/ 


hadoop生态组件依赖包路径:


/opt/cloudera/parcels/CDH/lib/



1、hadoop


配置文件:/etc/hadoop/conf

执行文件:/opt/cloudera/parcels/CDH/bin/hadoop



2、hive


配置文件:/etc/hive/conf

执行文件:/opt/cloudera/parcels/CDH/bin/hive



3、hbase


配置文件:/etc/hbase/conf

执行文件:/opt/cloudera/parcels/CDH/bin/hbase



4、zookeeper


配置文件:/etc/zookeeper/conf

执行文件:/opt/cloudera/parcels/CDH/bin/zookeeper



5、spark


配置文件:/etc/spark/conf

执行文件:/opt/cloudera/parcels/CDH/bin/spark 



三、CDH 加载的环境变量 

JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
HUE_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hue
HUE_CONF_DIR=/var/run/cloudera-scm-agent/process/530-hue-KT_RENEWER
HADOOP_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop
HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/530-hue-KT_RENEWER/yarn-conf
HIVE_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive
HIVE_DEFAULT_XML=/etc/hive/conf.dist/hive-default.xml
HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/530-hue-KT_RENEWER/hive-conf
HBASE_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase
PIG_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/pig
HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/530-hue-KT_RENEWER/hbase-conf
CONF_DIR=/var/run/cloudera-scm-agent/process/530-hue-KT_RENEWER

HADOOP_HOME /opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_CONF_DIR /etc/hadoop/conf
HADOOP_COMMON_HOME /opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_HDFS_HOME /opt/cloudera/parcels/CDH/lib/hadoop-hdfs
HIVE_HOME /opt/cloudera/parcels/CDH/lib/hive
HBASE_HOME /opt/cloudera/parcels/CDH/lib/hbase
YARN_HOME /opt/cloudera/parcels/CDH/lib/hadoop-yarn
HADOOP_MAPRED_HOME /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
ZOOKEEPER_HOME /opt/cloudera/parcels/CDH/lib/zookeeper


推荐阅读
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • Java开发实战讲解!字节跳动三场技术面+HR面
    二、回顾整理阿里面试题基本就这样了,还有一些零星的问题想不起来了,答案也整理出来了。自我介绍JVM如何加载一个类的过程,双亲委派模型中有 ... [详细]
  • 本文_大数据之非常详细Sqoop安装和基本操作
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识,希望对你有一定的参考价值。大数据大数据之 ... [详细]
  • 本文介绍了在Win10上安装WinPythonHadoop的详细步骤,包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性,并建议重启电脑以确保安装成功。 ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • IT方面的论坛太多了,有综合,有专业,有行业,在各个论坛里混了几年,体会颇深,以前是论坛哪里人多 ... [详细]
  • 2018深入java目标计划及学习内容
    本文介绍了作者在2018年的深入java目标计划,包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中,作者对jvm的学习有一定了解,并计划通读《jvm》一书。此外,作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]
  • 11月26日,由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,CSDN承办的Hadoop与大数据技术大会(Hadoop&BigDataTechnology ... [详细]
  • 这个问题困扰了我两天,卸载Dr.COM客户端(我们学校上网要装这个客户端登陆服务器,以后只能在网页里输入用户名和密码了),问题解决了。问题的现象:在实验室机台式机上安装openfire和sp ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • 前言折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署 ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • Azkaban(三)Azkaban的使用
    界面介绍首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ... [详细]
author-avatar
常沛威
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有