当前位置: 开发笔记 > 编程语言 > 正文

开发笔记:17hadoopyarn安装

作者：GYuan83_844 | 来源：互联网 | 2023-08-29 10:41

篇首语：本文由编程笔记#小编为大家整理，主要介绍了17-hadoop-yarn安装相关的知识，希望对你有一定的参考价值。在搭建好的resource

篇首语：本文由编程笔记#小编为大家整理，主要介绍了17-hadoop-yarn安装相关的知识，希望对你有一定的参考价值。

在搭建好的 resourceHA的环境下, 配置yarn

yarn是 hadoop2以后的计算框架,

通过ResourceManager的调用, 将我们写的程序包分到各个nodeManager上, 由于hadoop的理念是移动计算, 所以NodeManager和 DataNode是同一个机器

在 ${hadoop_home}/etc/hadoop 下

vim yarn-site.xml

yarn.resourcemanager.ha.enabled
true

yarn.resourcemanager.cluster-id
yarncluster

yarn.resourcemanager.ha.rm-ids
rm1,rm2

yarn.resourcemanager.hostname.rm1
192.168.208.106

yarn.resourcemanager.hostname.rm2
192.168.208.107

yarn.resourcemanager.zk-address
192.168.208.106:2181,192.168.208.107:2181,192.168.208.108:2181

yarn.nodemanager.aux-services
mapreduce_shuffle

然后 vim mapred-site.xml

mapreduce.framework.name
yarn

推荐阅读

jar
Presto：高效即席查询引擎的深度解析与应用

本文深入解析了Presto这一高效的即席查询引擎，详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式，显著提升了查询性能，相比传统的MapReduce查询，不仅减少了数据传输的延迟，还提高了查询的准确性和效率。然而，Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景，展示了其在大数据分析领域的强大潜力。 ... [详细]

蜡笔小新 2024-11-07 19:17:47
jar
Hadoop 2.6 日志文件解析与MapReduce日志管理深入探讨

Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成，其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法，并详细介绍了 MapReduce 日志管理的最佳实践，旨在帮助用户更好地理解和优化日志处理流程，提高系统运维效率。 ... [详细]

蜡笔小新 2024-11-03 16:23:38
sum
《Linux高性能服务器编程》深入解析：3.2 TCP报头结构与功能

在《Linux高性能服务器编程》一书中，第3.2节深入探讨了TCP报头的结构与功能。TCP报头是每个TCP数据段中不可或缺的部分，它不仅包含了源端口和目的端口的信息，还负责管理TCP连接的状态和控制。本节内容详尽地解析了TCP报头的各项字段及其作用，为读者提供了深入理解TCP协议的基础。 ... [详细]

蜡笔小新 2024-11-10 14:18:44
list
理解和优化进程与线程状态转换机制

在Cisco IOS XR系统中，存在提供服务的服务器和使用这些服务的客户端。本文深入探讨了进程与线程状态转换机制，分析了其在系统性能优化中的关键作用，并提出了改进措施，以提高系统的响应速度和资源利用率。通过详细研究状态转换的各个环节，本文为开发人员和系统管理员提供了实用的指导，旨在提升整体系统效率和稳定性。 ... [详细]

蜡笔小新 2024-11-09 18:33:35
client
优化后的标题：深入探讨网关安全：将微服务升级为OAuth2资源服务器的最佳实践

本文深入探讨了如何将微服务升级为OAuth2资源服务器，以订单服务为例，详细介绍了在POM文件中添加 `spring-cloud-starter-oauth2` 依赖，并配置Spring Security以实现对微服务的保护。通过这一过程，不仅增强了系统的安全性，还提高了资源访问的可控性和灵活性。文章还讨论了最佳实践，包括如何配置OAuth2客户端和资源服务器，以及如何处理常见的安全问题和错误。 ... [详细]

蜡笔小新 2024-11-09 16:13:27
list
在CentOS系统下详细解析阿里云ECS服务器上搭建LAMP环境的配置步骤

本文详细介绍了在CentOS 6.5 64位系统上使用阿里云ECS服务器搭建LAMP环境的具体步骤。首先，通过PuTTY工具实现远程连接至服务器。接着，检查当前系统的磁盘空间使用情况，确保有足够的空间进行后续操作，可使用 `df` 命令进行查看。此外，文章还涵盖了安装和配置Apache、MySQL和PHP的相关步骤，以及常见问题的解决方法，帮助用户顺利完成LAMP环境的搭建。 ... [详细]

蜡笔小新 2024-11-09 15:09:47
list
在 CentOS 6.5 系统上部署 VNC 服务器的详细步骤与配置指南

在 CentOS 6.5 系统上部署 VNC 服务器时，首先需要确认 VNC 服务是否已安装。通常情况下，VNC 服务默认未安装。可以通过运行特定的查询命令来检查其安装状态。如果查询结果为空，则表明 VNC 服务尚未安装，需进行手动安装。此外，建议在安装前确保系统的软件包管理器已更新至最新版本，以避免兼容性问题。 ... [详细]

蜡笔小新 2024-11-07 11:12:58
jar
CentOS 7环境下Jenkins的安装与前后端应用部署详解

CentOS 7环境下Jenkins的安装与前后端应用部署详解 ... [详细]

蜡笔小新 2024-11-04 16:46:02
list
Linux入门教程第七课：基础命令与操作详解

在本课程中，我们将深入探讨 Linux 系统中的基础命令与操作，重点讲解网络配置的相关知识。首先，我们会介绍 IP 地址的概念及其在网络协议中的作用，特别是 IPv4（Internet Protocol Version 4）的具体应用和配置方法。通过实际操作和示例，帮助初学者更好地理解和掌握这些基本技能。 ... [详细]

蜡笔小新 2024-11-04 14:54:54
jsp
虚拟机网络设置与数据库远程连接优化指南

本文针对个人计算机上虚拟机网络配置与数据库远程连接的问题，提供了一套详细的优化指南。在探讨远程数据库访问前，需确保网络配置正确，特别是桥接模式的设置。通过合理的网络配置，可以有效解决因虚拟机或网络问题导致的连接失败，提升远程访问的稳定性和效率。 ... [详细]

蜡笔小新 2024-11-04 11:43:08
python
技术日志：Ansible的安装及模块管理详解

技术日志：Ansible的安装及模块管理详解 ... [详细]

蜡笔小新 2024-11-03 15:01:47
list
基于域名、端口和IP的虚拟主机构建方案

本文探讨了在单台物理服务器上构建多个Web站点的虚拟主机方案，详细介绍了三种主要的虚拟主机类型：基于域名、基于IP地址和基于端口的虚拟主机。每种类型的实现方式及其优缺点均进行了深入分析，为实际应用提供了全面的技术指导。 ... [详细]

蜡笔小新 2024-11-03 13:17:53
jar
Ceph API微服务实现RBD块设备的高效创建与安全删除

本文旨在实现Ceph块存储中RBD块设备的高效创建与安全删除功能。开发环境为CentOS 7，使用 IntelliJ IDEA 进行开发。首先介绍了 librbd 的基本概念及其在 Ceph 中的作用，随后详细描述了项目 Gradle 配置的优化过程，确保了开发环境的稳定性和兼容性。通过这一系列步骤，我们成功实现了 RBD 块设备的快速创建与安全删除，提升了系统的整体性能和可靠性。 ... [详细]

蜡笔小新 2024-10-31 15:11:07
client
本地执行MapReduce程序之后，报的一些错误

【clienteclipse集群提交运行】：客户端eclipse集群提交mapreduce代码1.需求：在master:8088上，有客户 ... [详细]

蜡笔小新 2024-10-15 10:46:12
python
工作原理_一文理解 Spark 基础概念及工作原理

篇首语：本文由编程笔记#小编为大家整理，主要介绍了一文理解Spark基础概念及工作原理相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2024-10-14 04:29:30

GYuan83_844

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章