热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoop_exporterpython版本的安装使用

1.需要使用pythonpip 参考https:www.cnblogs.comrain124p6196053.htmlpython2.7.5安装pip1先安装setuptools下

1.需要使用python pip

 参考https://www.cnblogs.com/rain124/p/6196053.html

 python2.7.5 安装pip

1 先安装setuptools

   下载地址:https://pypi.python.org/pypi/setuptools#downloads

 将下载后的tar文件解压,用CMD模式进入到解压后的文件所在的目录执行命令:python setup.py install

2 安装pip 

 下载地址:https://pypi.python.org/pypi/pip#downloads

   将下载后的tar文件解压,用CMD模式进入到解压后的文件所在的目录执行命令:python setup.py install 

 安装完成

3.安装pip install prometheus_client
4.安装pip install python_consu

2.下载hadoop_exporter

git clone https://github.com/cauwulixuan/hadoop_exporter

3.help

python hadoop_exporter.py -h
usage: hadoop_exporter.py [-h] [-c cluster_name] [-hdfs namenode_jmx_url]
                          [-rm resourcemanager_jmx_url] [-dn datanode_jmx_url]
                          [-jn journalnode_jmx_url] [-mr mapreduce2_jmx_url]
                          [-hbase hbase_jmx_url] [-hive hive_jmx_url]
                          [-p metrics_path] [-host ip_or_hostname] [-P port]

4.为几个exporter创建systemd服务

# cat /etc/systemd/system/nn_exporter.service
[Unit]
Description=namenode_exporter
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=python /usr/local/prom/exporter/hadoop_exporter/cmd/hdfs_namenode.py -s http://lab1:9135 -hdfs http://lab1:50070/jmx -P 9070
Restart=on-failure
[Install]
WantedBy=multi-user.target


# cat /etc/systemd/system/dn_exporter.service
[Unit]
Description=namenode_exporter
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=python /usr/local/prom/exporter/hadoop_exporter/cmd/hdfs_datanode.py -s http://lab1:9135 -dn http://lab1:50075/jmx -P 9072
Restart=on-failure
[Install]
WantedBy=multi-user.target


# cat /etc/systemd/system/jn_exporter.service
[Unit]
Description=namenode_exporter
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=python /usr/local/prom/exporter/hadoop_exporter/cmd/hdfs_journalnode.py -s http://lab1:9135 -jn http://lab1:8480/jmx -P 9071
Restart=on-failure
[Install]
WantedBy=multi-user.target


# cat /etc/systemd/system/rm_exporter.service
[Unit]
Description=namenode_exporter
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=python /usr/local/prom/exporter/hadoop_exporter/cmd/yarn_resourcemanager.py -s http://lab1:9135 -rm http://lab1:8088/jmx -P 9088
Restart=on-failure
[Install]
WantedBy=multi-user.target


# cat /etc/systemd/system/nm_exporter.service
[Unit]
Description=namenode_exporter
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=python /usr/local/prom/exporter/hadoop_exporter/cmd/yarn_nodemanager.py -s http://lab1:9135 -nm http://lab1:8042/jmx -P 9042
Restart=on-failure
[Install]
WantedBy=multi-user.target

5.为几个exporter配置prometheus配置文件

hadoop_exporter python版本的安装使用
##hadoop##
  - job_name: 'nn'
    static_configs:
    - targets: ['lab1:9070']
      labels:
          instance: lab1

  - job_name: 'rm'
    static_configs:
    - targets: ['lab1:9088']
      labels:
          instance: lab1

  - job_name: 'dn'
    static_configs:
    - targets: ['lab1:9072']
      labels:
          instance: lab1

  - job_name: 'jn'
    static_configs:
    - targets: ['lab1:9071']
      labels:
          instance: lab1
- job_name: 'nm' static_configs: - targets: ['lab1:9042:'] labels: instance: lab1
 

 


推荐阅读
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • 离线安装Grafana Cloudera Manager插件并监控CDH集群
    本文详细介绍如何离线安装Cloudera Manager (CM) 插件,并通过Grafana监控CDH集群的健康状况和资源使用情况。该插件利用CM提供的API接口进行数据获取和展示。 ... [详细]
  • 在Win10上利用VS2015构建Caffe2环境
    本文详细介绍如何在Windows 10操作系统上通过Visual Studio 2015编译Caffe2深度学习框架的过程。包括必要的软件安装、环境配置以及常见问题的解决方法。 ... [详细]
  • 本文详细介绍了C++标准模板库(STL)中各容器的功能特性,并深入探讨了不同容器操作函数的异常安全性。 ... [详细]
  • databasesync适配openGauss使用指导书
    一、database-sync简介database-sync作为一种开源辅助工具,用于数据库之间的表同步,更确切的说法是复制,可以从一个数据库复制表到另一个数据库该工具支持的功能如 ... [详细]
  • golang常用库:配置文件解析库/管理工具viper使用
    golang常用库:配置文件解析库管理工具-viper使用-一、viper简介viper配置管理解析库,是由大神SteveFrancia开发,他在google领导着golang的 ... [详细]
  • 本文详细记录了在银河麒麟操作系统和龙芯架构上使用 Qt 5.15.2 进行项目打包时遇到的问题及解决方案,特别关注于 linuxdeployqt 工具的应用。 ... [详细]
  • 本文探讨了Hive作业中Map任务数量的确定方式,主要涉及HiveInputFormat和CombineHiveInputFormat两种InputFormat的分片计算逻辑。通过调整相关参数,可以有效控制Map任务的数量,进而优化Hive作业的性能。 ... [详细]
  • 随着EOS主网的成功启动,众多开发者和投资者对其给予了高度关注。本文旨在介绍如何构建EOS开发环境,包括所需的基本硬件配置、软件安装步骤以及常见问题的解决方案。 ... [详细]
  • Gitee + Git 多人协作开发指南:轻松上手,解决代码冲突
    本文提供了一套详细的步骤,帮助团队成员快速安装和配置Git,通过Gitee进行高效的多人协作开发,同时解决常见的代码冲突问题。包括Git的下载、安装、与Gitee的集成以及项目管理的最佳实践。 ... [详细]
  • 深入解析:主流开源分布式文件系统综述
    本文详细探讨了几款主流的开源分布式文件系统,包括HDFS、MooseFS、Lustre、GlusterFS和CephFS,重点分析了它们的元数据管理和数据一致性机制,旨在为读者提供深入的技术见解。 ... [详细]
  • 本文介绍了Hive作为基于Hadoop的数据仓库工具的核心概念,包括其基本功能、使用理由、特点以及与Hadoop的关系。同时,文章还探讨了Hive相较于传统关系型数据库的不同之处,并展望了Hive的发展前景。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
  • 了解如何快速搭建属于自己的个人博客,无需编程基础,适合Mac和Windows用户。通过本文,您将学会使用GitHub Pages和Hexo构建一个完全自主的在线空间。 ... [详细]
  • 本文通过SystemTap工具详细分析了lvextend命令在SUSE12sp3系统上的执行流程。首先介绍了必要的软件安装步骤,随后展示了如何编写并运行SystemTap脚本来追踪命令执行过程中的函数调用,最后结合实际输出结果对关键函数进行了深入分析。 ... [详细]
author-avatar
LF龙丰通讯
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有