GoAccess安装及分析nginx实时日志

GoAccess是一个基于终端的快速日志分析器。其核心思想是实时快速分析和查看Web服务器统计信息&＃xff0c;而无需使用您的浏览器&＃xff08;如果您希望通过SSH快速分析访问日志&＃xff0c;或者只是喜欢在终端中工作&＃xff09;&＃xff0c;终端输出是默认输出&＃xff0c;但它能够生成完整的&＃xff0c;独立的实时 HTML报告&＃xff08;非常适合分析&＃xff0c;监控和数据可视化&＃xff09;&＃xff0c;以及a JSON和CSV报告。

• 所有面板和指标都定时在终端输出上每200毫秒更新一次&＃xff0c;在HTML输出上每秒更新一次。

• GoAccess允许任何自定义日志格式字符串。预定义选项包括Apache&＃xff0c;Nginx&＃xff0c;Amazon S3&＃xff0c;Elastic Load Balancing&＃xff0c;CloudFront等

• 跟踪提供请求所需的时间。如果您想跟踪减慢网站速度的网页&＃xff0c;则非常有用。

• 数据持久性强&＃xff0c;GoAccess能够通过磁盘上的B &＃43; Tree数据库逐步处理日志。

• GoAccess是用C语言编写的&＃xff0c;要运行它&＃xff0c;你只需要将ncurses作为依赖项&＃xff0c;它甚至还具有自己的RFC6455兼容Web Socket服务器。

• 您可以针对访问日志文件运行它&＃xff0c;选择日志格式并让GoAccess解析访问日志并显示统计信息。

• 按小时或日期确定最慢运行请求的匹配数&＃xff0c;访问者数&＃xff0c;带宽数和指标数。

• 多个虚拟主机&＃xff0c;一个面板&＃xff0c;显示哪个虚拟主机正在消耗大部分Web服务器资源。

• 定制GoAccess以适合您自己的色彩品味。通过终端&＃xff0c;或者只是更新HTML输出上的样式表。

GoAccess安装部署&＃xff1a;

方案一&＃xff1a;Yum安装部署
yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-develyum install gcc -y
yum -y install GeoIP-update
yum install goaccess

#修改/etc/nginx/nginx.conf文件的日志存储格式
log_format main &＃39;$remote_addr - $remote_user [$time_local] requesthost:"$http_host"; "$request" requesttime:"$request_time"; &＃39;
&＃39;$status $body_bytes_sent "$http_referer" - $request_body&＃39;
&＃39;"$http_user_agent" "$http_x_forwarded_for"&＃39;;

#修改文件/etc/goaccess.conf改成goaccess格式标准对应为
time-format %T
date-format %d/%b/%Y
log-format %h - %^ [%d:%t %^] requesthost:"%v"; "%r" requesttime:"%T"; %s %b "%R" - %^"%u"

#测试生成页面
goaccess -f /var/log/nginx/access.log -c -a>/usr/share/nginx/html/go.html
方案二&＃xff1a;源码安装部署

#yum安装依赖包
yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel
yum install gcc -y
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
yum -y install GeoIP-update

#下载goaccess源码包&＃xff0c;并解压编译安装
wget https://tar.goaccess.io/goaccess-1.2.tar.gz
tar xzvf goaccess-1.2.tar.gz
cd goaccess-1.2/./configure --enable-geoip --enable-utf8make && make install

#修改/etc/nginx/nginx.conf文件的日志存储格式
log_format main &＃39;$remote_addr - $remote_user [$time_local] requesthost:"$http_host"; "$request" requesttime:"$request_time"; &＃39;
&＃39;$status $body_bytes_sent "$http_referer" - $request_body&＃39;
&＃39;"$http_user_agent" "$http_x_forwarded_for"&＃39;;

#修改文件/usr/local/etc/goaccess.conf改成goaccess格式标准对应为
time-format %T
date-format %d/%b/%Y
log-format %h - %^ [%d:%t %^] requesthost:"%v"; "%r" requesttime:"%T"; %s %b "%R" - %^"%u"

#测试生成页面
goaccess -f /var/log/nginx/access.log -c -a>/usr/share/nginx/html/go.html

#后台实时生成数据到goaccess页面
/usr/local/bin/goaccess /var/log/nginx/access.log -o /usr/share/nginx/html/go.html --real-time-html &

安装常见问题&＃xff1a;

问题1&＃xff1a;安装时提示&＃xff1a;Missing development files for the GeoIP library

解决方法&＃xff1a; 下载GeoIP library包&＃xff0c;执行 yum -y install GeoIP-update

问题2&＃xff1a;

Fatal error has occurred
Error occurred at: src/parser.c - parse_log - 2764
No time format was found on your conf file.

问题解析&＃xff1a; 配置文件goaccess.conf中time format格式不正确&＃xff0c;只需把所需要对应日志格式前的#去掉即可&＃xff0c;最后格式如下&＃xff1a;

time-format %T
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b

 

Goaccess支持实时查看access日志&＃xff0c;Linux执行&＃xff1a;goaccess -f access.log -o go.html --real-time-html -p goaccess.conf&＃xff0c;按enter执行
解释如下&＃xff1a;access.log处要改成access.log的绝对路径 go.html表示生成的Html文件&＃xff0c;这里也要用绝对路径代替&＃xff0c;goaccess.conf表示配置文件&＃xff0c;也要写绝对路径&＃xff0c;否则会提示找不到这个文件

实时日志命令执行后提示如下&＃xff1a;

这样就可以查看go.html文件了。

可以在windows本地打开浏览器访问实时的go.html文件&＃xff0c;如果你的服务器访问地址是www.xxx.com&＃xff0c;则只需访问www.xx.com/go.html即可

 

如想查看goaccess访问对应的端口&＃xff0c;执行netstat -antp | grep goaccess&＃xff0c;结果如下&＃xff1a;

 

 

 如果端口被占用&＃xff0c;无法启动&＃xff0c;可以执行如下命令关闭端口&＃xff1a;

su - root     #切换到root用户

lsof -i :端口号     #得到PID号

kill -9 PID