热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何进行CM部署客户端配置失败异常的分析

如何进行CM部署客户端配置失败异常的分析,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更

如何进行CM部署客户端配置失败异常的分析,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

1.异常描述


在Cloudera Manager修改了服务的客户端配置后,执行部署客户配置报如下异常:

如何进行CM部署客户端配置失败异常的分析

如何进行CM部署客户端配置失败异常的分析

无法成功的部署客户端配置到相应的节点上,在有些时候界面看不到任何异常信息,导致很难定位问题。

2.异常分析及处理


1.由于没有日志信息,不好根据异常分析问题,那我们分析部署成功的日志信息是怎么样的,下面以部署Hive客户端配置日志为例

如何进行CM部署客户端配置失败异常的分析

如何进行CM部署客户端配置失败异常的分析

通过上述两个截图日志可以看到,其实部署客户端的操作就是在部署节点上将/etc/hive/conf.cloudera.hive目录的配置删除,然后将/run/cloudera-scm-agent/process/ccdeploy_hive-conf_xxxx/hive-conf下的配置文件拷贝至/etc/hive/conf.cloudera.hive目录,然后再做授权等操作。

2.通过部署成功的日志,可以得出部署客户端时会在/run/cloudera-scm-agent/process/ccdeploy_*目录下生成客户端临时配置文件

3.登录到部署失败节点(cdh03.fayson.com),进入/run/cloudera-scm-agent/process目录下

如何进行CM部署客户端配置失败异常的分析

在该目录下有大量的部署客户端配置临时文件,那需要根据我们部署失败的时间点找到相应的部署目录,这里Fayson就查找最近时间的部署目录

[root@cdh03 process]# ll -t |grep ccdeploy_ |more

(可左右滑动)

如何进行CM部署客户端配置失败异常的分析

进入上图标识的目录下,可以看到该目录下有logs目录,里面记录了部署客户端配置的详细日志

如何进行CM部署客户端配置失败异常的分析

进入logs目录下,查看stderr.log日志文件内容

如何进行CM部署客户端配置失败异常的分析

在日志的文件末尾看到“/var/lib/alternatives/hadoop-conf empty!”,这里与部署成功的日志有一些区别,因此定位可能是由于该文件为空导致的问题。

4.查看/var/lib/alternatives/hadoop-conf文件

[root@cdh03 alternatives]# ll hadoop-conf
-rw-r--r-- 1 root root 0 Aug 31 09:36 hadoop-conf
[root@cdh03 alternatives]# more hadoop-conf

(可左右滑动)

如何进行CM部署客户端配置失败异常的分析

显示hadoop-conf文件大小为0,文件内没有任何内容。

5.在部署正常的节点上,将/var/lib/alternatives/hadoop-conf文件的内容拷贝至该hadoop-conf文件中

[root@cdh03 alternatives]# more hadoop-conf 
auto
/etc/hadoop/conf

/opt/cloudera/parcels/CDH-5.15.0-1.cdh6.15.0.p0.21/etc/hadoop/conf.empty
10
/etc/hadoop/conf.cloudera.yarn
92
/etc/hadoop/conf.cloudera.hdfs
90

(可左右滑动)

如何进行CM部署客户端配置失败异常的分析

修改成功后,重启该节点的cloudera-scm-agent服务。

6.在Cloudera Manager再次执行部署客户端配置测试,如下图所示部署成功

如何进行CM部署客户端配置失败异常的分析

3.总结


在部署客户端失败且没有日志的情况下,我们可以变通下分析问题的方式,可以通过正常部署的日志信息,推断问题可能会出现在哪里?可以通过正常日志分析部署配置每个阶段的操作,去反推部署异常节点的问题。

在/var/lib/alternatives目录下的文件不存在或做了修改后,需要重启cloudera-scm-agent服务来重新加载该目录下的配置文件。

提示:代码块部分可以左右滑动查看

关于如何进行CM部署客户端配置失败异常的分析问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注编程笔记行业资讯频道了解更多相关知识。


推荐阅读
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 360SRC安全应急响应:从漏洞提交到修复的全过程
    本文详细介绍了360SRC平台处理一起关键安全事件的过程,涵盖从漏洞提交、验证、排查到最终修复的各个环节。通过这一案例,展示了360在安全应急响应方面的专业能力和严谨态度。 ... [详细]
  • 高效解决应用崩溃问题!友盟新版错误分析工具全面升级
    友盟推出的最新版错误分析工具,专为移动开发者设计,提供强大的Crash收集与分析功能。该工具能够实时监控App运行状态,快速发现并修复错误,显著提升应用的稳定性和用户体验。 ... [详细]
  • andr ... [详细]
  • 深入探讨CPU虚拟化与KVM内存管理
    本文详细介绍了现代服务器架构中的CPU虚拟化技术,包括SMP、NUMA和MPP三种多处理器结构,并深入探讨了KVM的内存虚拟化机制。通过对比不同架构的特点和应用场景,帮助读者理解如何选择最适合的架构以优化性能。 ... [详细]
  • 本文探讨了领域驱动设计(DDD)的核心概念、应用场景及其实现方式,详细介绍了其在企业级软件开发中的优势和挑战。通过对比事务脚本与领域模型,展示了DDD如何提升系统的可维护性和扩展性。 ... [详细]
  • 实体映射最强工具类:MapStruct真香 ... [详细]
  • 微软Exchange服务器遭遇2022年版“千年虫”漏洞
    微软Exchange服务器在新年伊始遭遇了一个类似于‘千年虫’的日期处理漏洞,导致邮件传输受阻。该问题主要影响配置了FIP-FS恶意软件引擎的Exchange 2016和2019版本。 ... [详细]
  • 本文介绍如何使用 Python 获取文件和图片的创建、修改及拍摄日期。通过多种方法,如 PIL 库的 _getexif() 函数和 os 模块的 getmtime() 和 stat() 方法,详细讲解了这些技术的应用场景和注意事项。 ... [详细]
  • 通过Web界面管理Linux日志的解决方案
    本指南介绍了一种利用rsyslog、MariaDB和LogAnalyzer搭建集中式日志管理平台的方法,使用户可以通过Web界面查看和分析Linux系统的日志记录。此方案不仅适用于服务器环境,还提供了详细的步骤来确保系统的稳定性和安全性。 ... [详细]
  • 在本周的白板演练中,Apache Flink 的 PMC 成员及数据工匠首席技术官 Stephan Ewen 深入探讨了如何利用保存点功能进行流处理中的数据重新处理、错误修复、系统升级和 A/B 测试。本文将详细解释保存点的工作原理及其应用场景。 ... [详细]
  • 提升Tumblr爬虫效率与功能
    本文介绍了对之前开发的Tumblr爬虫脚本进行升级,整合了两个脚本的功能,实现了自动分页爬取博客内容,并支持配置文件以下载多个博客的不同格式文件。此外,还优化了图片下载逻辑。 ... [详细]
  • 尽管深度学习带来了广泛的应用前景,其训练通常需要强大的计算资源。然而,并非所有开发者都能负担得起高性能服务器或专用硬件。本文探讨了如何在有限的硬件条件下(如ARM CPU)高效运行深度神经网络,特别是通过选择合适的工具和框架来加速模型推理。 ... [详细]
  • 本文介绍了如何在C#应用程序中有效隐藏SQLCMD命令行窗口,确保程序运行时不会弹出黑色命令提示符窗口。 ... [详细]
  • 在进行Revit插件开发时,经常会遇到窗口被其他应用程序遮挡的问题。本文将介绍如何通过简单的代码调整,确保插件窗口始终保持在Revit主界面的最前端,提升用户体验。 ... [详细]
author-avatar
喝咖啡的小南瓜_488
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有