一、Ganglia分布式监控系统简介

Ganglia是UC Berkeley发起的一个开源集群监视项目。它主要是用来监控系统性能&＃xff0c;如&＃xff1a;CPU 、Memory、硬盘利用率&＃xff0c; I/O负载、网络流量情况等。Ganglia通过图形化的方式展示每个节点的状态信息&＃xff0c;这对合理调整、分配系统资源&＃xff0c;提高系统整体性能起到重要作用。Ganglia包含三个核心组件&＃xff1a;Ganglia Monitoring Daemon&＃xff08;gmond&＃xff09;、Ganglia Meta Daemon&＃xff08;gmetad&＃xff09;以及Ganglia PHP Web Frontend。

Gmond组件

Gmond组件部署于集群中各个被监控的节点。其主要功能是从操作系统或指定的主机收集状态信息。其收集主机状态信息的方式灵活&＃xff0c;状态信息均以XML格式进行传输。Gmond组件可以级联形成层次结构&＃xff0c;这种层次结构使得Ganglia拥有良好的可扩展性。另外&＃xff0c;Gmond组件带来的系统负载非常少&＃xff0c;对用户的影响非常小。Gmond组件的工作模式有两种&＃xff1a;单播和多播。单播模式下&＃xff0c;Gmond组件发送其收集的主机状态信息到指定的一个或多个节点&＃xff0c;可以跨网段&＃xff1b;多播模式下&＃xff0c;Gmond组件发送其监控的主机状态信息到同一网段内的所有节点&＃xff0c;同时还接收同一网段内其他节点发送的状态信息。

Gmetad组件

Gmetad组件可以部署于集群中的某一节点&＃xff0c;也可以部署于集群外的某一专门服务器&＃xff0c;其主要功能是周期性地从指定的Gmond组件或其他Gmetad组件拉取数据&＃xff0c;并将拉取的数据存储在本地数据库。这些存储的状态信息供Ganglia-Web组件使用。

Ganglia-Web组件

Ganlgia-Web组件和Gmetad组件须部署于同一节点&＃xff0c;它通过数据库轮询的方式从Gmetad组件中获取状态信息&＃xff0c;并以web形式图形化地展示各个节点的状态信息。

Overview of Ganglia Node

Details of Ganglia Node

Ganglia Cluster Data Flow

二、CentOS下搭建Ganglia分布式监控系统

1、安装依赖

1) Ganglia依赖于以下系统软件包&＃xff0c;请先检查这些软件包是否正确安装。所缺软件包建议通过YUM源方式安装。安装这些包&＃xff0c;需要CentOS-Base.repo。后续安装步骤中可能用到源epel.repo。

 

Java代码  

1. yum install apr-develapr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-develdbus-devel freetype-devel fontconfig-devel gcc-c&＃43;&＃43; expat-devel python-devellibXrender-devel  

 

2) 安装confuse

• 通过RPM包方式安装&＃xff08;libconfuselibconfuse-devel&＃xff09;

 

Java代码  

1. rpm –ivhlibconfuse-2.6-2.el5.rf.x86_64.rpm  
2. rpm –ivhlibconfuse-devel-2.6-2.el5.rf.x86_64.rpm  

 

• 通过源码编译方式安装 &＃xff08;confuse&＃xff09;

 

Java代码  

1. tar zxvf confuse-2.7.tar.gz  
2. ./confuse-2.7/configure CFLAGS&＃61;-fPIC --disable-nls  
3. ./confuse-2.7/make&& make install  

 

在以源码编译方式安装confuse时&＃xff0c;如果环境是64位操作系统&＃xff0c;则configure参数不可以省略&＃xff0c;否则源码编译安装Ganglia时会出错。

3) 安装RRDTool&＃xff08;Ganglia依赖于RRDTool数据库轮询工具来更新Ganglia-Web页面&＃xff09;

• 通过YUM源方式安装

 

Java代码  

1. yum install rrdtool  

 

• 通过源码编译方式安装 &＃xff08;rrdtool&＃xff09;

 

Java代码  

1. tar zxvfrrdtool-1.4.6.tar.gz  
2. ./rrdtool-1.4.6/configure--prefix&＃61;/usr  
3. ./rrdtool-1.4.6/make&& make install  

 

在以源码编译方式安装时&＃xff0c;configure的参数--prefix用来指定安装目录&＃xff0c;便于后续安装指定路径。

4) 安装Apache&＃43;PHP&＃xff08;仅gmetad组件和ganglia-web组件所在节点须配置此项&＃xff09;

• 通过YUM源方式安装

 

Java代码  

1. yum install httpd php apr  

 

2、安装Ganglia

安装前请先检查/usr/include/rrd.h和/usr/lib/librrd.a文件是否存在。如不存在&＃xff0c;可分别创建指向这两个文件的软链接。

• 通过YUM源方式安装

 

Java代码  

1. yum install gangliaganglia-gmond ganglia-gmetad ganglia-web  

 

• 通过源码编译方式安装&＃xff08;ganglia ganlia-web&＃xff09;

 

Java代码  

1. tar zxvfganglia-3.4.0.tar.gz  
2. ./ganglia-3.4.0/configure--with-gmetad  
3. ./ganglia-3.4.0/make&& make install  

 

在以源码编译方式安装时&＃xff0c;configure如果不指定参数--with-gmetad则只安装gmond组件。

3、配置Ganglia

1) 获取Ganglia配置文件

• 如果通过YUM源方式安装&＃xff0c;则配置文件已自动生成&＃xff0c;配置文件存放于/etc目录。
• 如果通过源码编译方式安装&＃xff0c;Ganglia的配置信息需要手动生成。

首先需要创建配置文件存储目录

 

Java代码  

1. mkdir /etc/ganglia  

 

Gmond组件的默认配置文件可自动生成

 

Java代码  

1. gmond –t | tee/etc/ganglia/gmond.conf  

 

Gmetad组件的配置文件为源码包中的package/gmetad/gmetad.conf

 

Java代码  

1. cp<package>/gmetad/gmetad.conf /etc/ganglia/gmetad.conf  

 

2&＃xff09; 配置文件。不管采用哪种安装方法&＃xff0c;其配置方法如下&＃xff1a;

• gmond.conf配置项目

Java代码  

1. /*配置集群信息&＃xff0c;主要配置集群名称*/  
2. cluster {  
3.      name &＃61; "Flume"  
4.      owner &＃61; "Cooper"  
5.      latlong &＃61; "unspecified"  
6.      url &＃61; "unspecified"  
7. }  
8. /*配置UPD发送管道&＃xff0c;用于发送UPD单播或多播状态信息*/  
9. udp_send_channel {  
10.      host &＃61; 111.111.111.***  
11.      port &＃61; 8649  
12.      ttl &＃61; 1  
13. }  
14. /*配置UPD接收端口&＃xff0c;用于接收其他节点发送到UPD单播或多播状态信息*/  
15. udp_recv_channel {  
16. port &＃61; 8649  
17. }  
18. /*配置Gmond组件收集的信息&＃xff0c;可配置状态信息采集时间&＃xff0c;最大采集时间间隔和监控值阈等*/  
19. /*Gmond组件的状态信息收集项已经默认配置完成&＃xff0c;可根据实际需要更改收集时间阈和值阈*/  
20. collection_group {  
21.      collect_once &＃61; yes  
22.      time_threshold &＃61; 20  
23.      metric {  
24.           name &＃61; "heartbeat"  
25.      }  
26. }  

• gmetad.conf配置项目

Java代码  

1. /*配置周期性拉取信息的数据源*/  
2. data_source"Flume" 111.111.111.***:8649  
3. /*可配置拉取周期、拉取节点等&＃xff0c;如果gmetad需要拉取多个节点的信息&＃xff0c;以空格分隔配置*/  
4. # data_source"cluster" 10 localhost my.machine.edu:8649 1.2.3.5:8655  
5. # data_source"grid" 50 1.3.4.7:8655 grid.org:8651 grid-backup.org:8651  
6. # data_source"source" 1.3.4.7:8655 1.3.4.8  

 

Java代码  

1. chkconfig –-add gmond  
2. chkconfig –-add gmetad  

 

• 启动服务

 

Java代码  

1. service gmond start  
2. service gmetad start  
3. service httpd srart  

 

附1、使用Gmetric定制监控信息

Gmetric组件是可选组件&＃xff0c;所以配置之前&＃xff0c;请确认Gmetric组件已经正确安装。Gmetric组件通过执行定制的脚本&＃xff0c;将返回结果返回给Gmond组件。

 

Java代码  

1. ll /usr/bin/gmetric  
2. vi/root/gmetric_scripts.sh  
3. chmod 755/root/gmetric_scripts.sh  
4. /root/gmetric_scripts.sh  
5. /*将脚本服务添加到crontab&＃xff0c;设置周期性运行*/  
6. crontab –e  
7. /1 * * * * /root/mcd_gmetric.sh  

 

在此提供一个共享的脚本库【猛击这里】

附2、监控Hadoop集群

/*配置Hadoop文件*/

Java代码  

1. /*这里所配置的IP地址&＃xff0c;是指Gmond组件指定的多播地址&＃xff0c;不是Gmetad组件所在地节点地址*/  
2. # Configuration of the"dfs" context for ganglia  
3. dfs.class&＃61;org.apache.hadoop.metrics.ganglia.GangliaContext  
4. dfs.period&＃61;10  
5. dfs.servers&＃61;10.224.192.***:8649  
6.    
7. # Configuration of the"mapred" context for ganglia  
8. mapred.class&＃61;org.apache.hadoop.metrics.ganglia.GangliaContext  
9. mapred.period&＃61;10  
10. mapred.servers&＃61;10.224.192.***:8649  
11.    
12. # Configuration of the"jvm" context for ganglia  
13. jvm.class&＃61;org.apache.hadoop.metrics.ganglia.GangliaContext  
14. jvm.period&＃61;10  
15. jvm.servers&＃61;10.224.192.***:8649