热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

20.CDH版HADOOP简介及版本选择

官网对于CDH的解释CDHisCloudera’s100%opensourceplatformdistribution(平台发行版),includingApacheHadoopan

官网对于CDH的解释

CDH is Cloudera’s 100% open source platform distribution(平台发行版), including Apache Hadoop and built specifically to meet enterprise demands. CDH delivers(提供) everything you need for enterprise use right out of the box(开箱即用). By integrating (整合)Hadoop with more than a dozen other critical(关键) open source projects, Cloudera has created a functionally(功能) advanced(先进) system that helps you perform (执行)end-to-end Big Data workflows.

我们学习工作中,学习一项新技能,一定要先看它的官网,并尝试翻译它。很多问题官网的解释往往是最权威和准确的,其他资料来源都有可能因为添加了个人理解而出现误差。而且翻译官网会提升我们的英文翻译能力,这在开发和运维工作中是尤为重要的

Cloudera Manager

Cloudera Manager官网链接
The recommended tool for installing Cloudera Enterprise
Cloudera Manager makes it easy to manage Hadoop deployments of any scale in production. Quickly deploy, configure, and monitor your cluster through an intuitive UI – complete with rolling upgrades, backup and disaster recovery, and customizable alerting.
Cloudera Manager is available as an integrated and supported part of Cloudera Enterprise.

This download installs Cloudera Enterprise or Cloudera Express.(意思是说下载cloudera MANAGER 之后会安装 Cloudera Enterprise 或者 Cloudera Express.)
Cloudera Enterprise requires a license; however, when installing Cloudera Express you will have the option to unlock Cloudera Enterprise features for a free 60-day trial.
Once the trial has concluded, the Cloudera Enterprise features will be disabled until you obtain and upload a license.

翻译:
用于安装Cloudera Enterprise的推荐工具
Cloudera Manager可以轻松管理生产中任何规模的Hadoop部署。 通过直观的UI快速部署,配置和监控集群,包括滚动升级,备份和灾难恢复以及可自定义的报警。
Cloudera Manager作为Cloudera Enterprise的集成和支持部分可用。

我们解释一下上文提到的 Cloudera Enterprise,这是CDH的收费版,我们常用的版本叫做 Cloudera Express ,这是免费版
选择何种版本是在安装完Cloudera MANAGER 后进入图形界面进行选择

Cloudera Manager 结构

官网cloudera Manager5 overview

《20. CDH版HADOOP简介及版本选择》 Cloudera Manager 结构

Cloudera Manager 的架构如上图所示(cs结构),主要由如下几部分组成:

  • 服务端/Server:
    Cloudera Manager 的核心。主要用于管理 web server 和应 用逻辑。它用于安装软件,配置,开始和停止服务,以及管理服务运行的集群。

  • 代理/agent:
    安装在每台主机上。它负责启动和停止的进程,部署配置,触发安装和监控主机。

  • 数据库/Database:
    存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如,所述的 Cloudera 管理器服务和监视,后台程序使用不同的逻辑数据库。

  • Cloudera Repository: :由cloudera manager 提供的软件分发库

  • 客户端/Clients:
    提供了一个与 Server 交互的接口:

    • 管理平台/Admin Console:提供一个管理员管理集群和 Cloudera Manage 的基于网页的交互界面。
    • API:为开发者提供了创造自定义 Cloudera Manager 程序的 API。

Cloudera Manager版本选择

版本选择视具体情况,如果只是自己练手,那么建议选择最新版本,如果是用做生产环境,建议使用发布了一段时间的稳定版。
我们选择的版本是:Cloudera Manager 5.11.0

当你在官网选择了Cloudera Manager 5.11.0版本之后,下面会对应提示该版本所支持的操作系统版本及JDK版本和其他选项

《20. CDH版HADOOP简介及版本选择》 官网版本选择界面
《20. CDH版HADOOP简介及版本选择》 版本及需求界面

点击上图的选项,我们看到了5.11.0 对操作系统及JDK及DATABASE的要求:

操作系统需求:

《20. CDH版HADOOP简介及版本选择》 操作系统要求

所以操作系统我们选择的是

[root@test001 ~]# cat /etc/redhat-release
CentOS Linux release 7.3.1611 (Core)

JDK需求

CDH and Cloudera Manager Supported JDK Versions
Only 64 bit JDKs from Oracle are supported. Oracle JDK 7 is supported across all versions of Cloudera Manager 5 and CDH 5. Oracle JDK 8 is supported in C5.3.x and higher.

所以我们JDK选择的是:

[root@test001 ~]# java -version
java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)

数据库需求:

《20. CDH版HADOOP简介及版本选择》 数据库版本需求

下一章我们即将开始安装CDH*


推荐阅读
  • CentOS 6.8 上安装 Oracle 10.2.0.1 的常见问题及解决方案
    本文记录了在 CentOS 6.8 系统上安装 Oracle 10.2.0.1 数据库时遇到的问题及解决方法,包括依赖库缺失、操作系统版本不兼容、用户权限不足等问题。 ... [详细]
  • 本文详细介绍了 Flink 和 YARN 的交互机制。YARN 是 Hadoop 生态系统中的资源管理组件,类似于 Spark on YARN 的配置方式。我们将基于官方文档,深入探讨如何在 YARN 上部署和运行 Flink 任务。 ... [详细]
  • 本文详细介绍了如何在 Android 中使用值动画(ValueAnimator)来动态调整 ImageView 的高度,并探讨了相关的关键属性和方法,包括图片填充后的高度、原始图片高度、动画变化因子以及布局重置等。 ... [详细]
  • 深入解析BookKeeper的设计与应用场景
    本文介绍了由Yahoo在2009年开发并于2011年开源的BookKeeper技术。BookKeeper是一种高效且可靠的日志流存储解决方案,广泛应用于需要高性能和强数据持久性的场景。 ... [详细]
  • 58同城的Elasticsearch应用与平台构建实践
    本文由58同城高级架构师于伯伟分享,由陈树昌编辑整理,内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用,特别是在58同城的实施案例,包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]
  • 在CentOS上构建Ntopng实时网络流量监控平台
    本文详细介绍了如何在CentOS操作系统上安装和配置Ntopng,一个强大的网络流量监控工具。Ntopng能够提供实时的网络流量分析,并通过Web界面展示详细的流量报告。 ... [详细]
  • c# – UWP:BrightnessOverride StartOverride逻辑 ... [详细]
  • 本文深入探讨了 Java 中的 Serializable 接口,解释了其实现机制、用途及注意事项,帮助开发者更好地理解和使用序列化功能。 ... [详细]
  • Android 渐变圆环加载控件实现
    本文介绍了如何在 Android 中创建一个自定义的渐变圆环加载控件,该控件已在多个知名应用中使用。我们将详细探讨其工作原理和实现方法。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • 在金融和会计领域,准确无误地填写票据和结算凭证至关重要。这些文件不仅是支付结算和现金收付的重要依据,还直接关系到交易的安全性和准确性。本文介绍了一种使用C语言实现小写金额转换为大写金额的方法,确保数据的标准化和规范化。 ... [详细]
  • XNA 3.0 游戏编程:从 XML 文件加载数据
    本文介绍如何在 XNA 3.0 游戏项目中从 XML 文件加载数据。我们将探讨如何将 XML 数据序列化为二进制文件,并通过内容管道加载到游戏中。此外,还会涉及自定义类型读取器和写入器的实现。 ... [详细]
  • 本文详细介绍了使用ZooKeeper构建高可用集群的方法,包括必要的软件环境准备、配置文件调整及集群启动等关键步骤。通常,一个ZooKeeper集群由奇数个节点组成,以确保Leader选举的有效性。 ... [详细]
  • 构建Snowflake中的近实时数据摄取管道
    探索如何在Snowflake中构建高效的近实时数据摄取管道,利用其内外表特性及Snowpipe服务,实现数据的快速、稳定加载。 ... [详细]
  • 深入解析:主流开源分布式文件系统综述
    本文详细探讨了几款主流的开源分布式文件系统,包括HDFS、MooseFS、Lustre、GlusterFS和CephFS,重点分析了它们的元数据管理和数据一致性机制,旨在为读者提供深入的技术见解。 ... [详细]
author-avatar
大爱仅有的财产丶_468
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有