shell实现按日期删除elk系统产生的logstash日志索引数据

分享一个简单的按日期删除elk系统产生的logstash日志索引数据的shell脚本,直接上代码：

#/bin/bash
#author: john li 
#created at 2017/9/15 16:00

if test ! -f "/var/log/elkDailyDel.log" ;then
    touch /var/log/elkDailyDel.log
fi
#请将该行当中的localhost:9200改成你自己elasticsearch服务对应的Ip及端口
indices=$(curl -s "localhost:9200/_cat/indices?v"|grep 'logstash'|awk '{print $3}') 
#可将60改成你所需要的时间段，改成40则保留最近40天的日志数据，以此类推
sixtyDaysAgo=$(date -d "$(date "+%Y%m%d") -60 days" "+%s") 
function DelOrNot(){
    if [ $(($1-$2)) -ge 0 ] ;then
        echo 1
    else
        echo 0
    fi
}
for index in ${indices}
do
    indexDate=`echo ${index}|cut -d '-' -f 2|sed 's/\./-/g'`
    indexTime=`date -d "${indexDate}" "+%s"`
    if [ `DelOrNot ${indexTime} ${sixtyDaysAgo}` -eq 0 ] ;then
    #请将下行当中的localhost:9200改成你自己elasticsearch服务对应的Ip及端口
        delResult=`curl -s -XDELETE "localhost:9200/${index}"` 
        echo "delResult is ${delResult}" >> /var/log/elkDailyDel.log
        if [ `echo ${delResult}|grep 'acknowledged'|wc -l` -eq 1 ] ;then
            echo "${index} had already been deleted!" >> /var/log/elkDailyDel.log
        else
            echo "there is something wrong happend when deleted ${index}" >> /var/log/elkDailyDel.log
        fi
    fi
done

在上面的shell脚本当中，首先会检测是否存在/var/log/elkDailyDel.log文件，没有的话会创建该文件。接着利用curl命令调用elasticsearch的restful api获取全部以logstash开头的索引名。此时定义了一个函数判断是否应该删除，思路是通过date命令获取60天前的时钟秒数，然后解析logstash-xxxx.xx.xx索引名后面的日期字符串将其转换成对应的时钟秒数，然后将两个时钟秒数相减判断该索引是不是60天之前产生的。如果是就调用elasticsearch的delete api将该索引删除。调用结果会打印到/var/log/elkDailyDel.log中
基本思路就是这样，配合linux的crontab命令每日定时执行，就可以实现elk系统只保留最近的60天日志数据的功能，假设该脚本名称为dailyDel.sh,放置于/usr/bin/目录下。对应linux命令如下：

chmod 744 /usr/bin/dailyDel.sh #确保该sh具有执行权限
crontab -e                     #进入任务编辑页面，跟vi编辑器是一样 
0 0 * * * /usr/bin/dailyDel.sh #在编辑页面里面输入该行后按 :wq保存退出即可

此时就全部设置完成了，这个shell就会每天的00:00:00执行一次，被删除的索引可以在/var/log/elkDailyDel.log里面看到对应的记录，也可以查看/var/log/cron看定期任务的执行情况。