牛X的正则表达式——从nagios中提取数据的过程

2011年11月1日 发表评论 阅读评论

最近应移动要求要提取每天的系统负载情况。其包括每天的CPU、内存的最高使用情况和平均使用情况,load average平均1、5、15分钟的负载!刚好公司的nagios的监控日志能提到数据。不过nagios日志里都是像下图中的数据。

显然无法直接汇制成表格按月提取 ,因为里面数据量挺大。有全国几十个区域的数据。所以就先用一个脚本把需要的数据过滤出来,放到一个.txt文件里。脚本如下:

#!/bin/bash
for (( i=0; i<31; i++)); do
        cd /usr/local/nagios/var/archives
        date1=$(date +%m-%d --date "$i days ago")
        logview nagios-$date1-2011-00.log > $date1-2011-00.tmp
        grep $1 $date1-2011-00.tmp|grep Check_Memory|grep COMMAND|awk -F OK: '{print $2}'|awk -F Used '{print $1}'> $date1.mem
        cat $date1.mem|awk '{sum+=$1} END {print "Memory-Average : ", sum/NR}' >$date1.txt
        echo "max memory-used:">>$date1.txt
        sort -unr $date1.mem |head -1 >>$date1.txt
        grep $1 $date1-2011-00.tmp|grep "idle"|grep "SERVICE CHECK"|awk -F idle: '{ print $2 }' >$date1.cpu
        cat $date1.cpu|awk '{sum+=$1} END {print "idle-Average : ", sum/NR}' >>$date1.txt
        echo "min idle-used:">>$date1.txt
        sort -un $date1.cpu |head -1 >>$date1.txt
        rm -rf $date1-2011-00.tmp $date1.mem $date1.cpu
        mv /usr/local/nagios/var/archives/*.txt /home/nagios/test
done 

因为后来load average的内容不需要了,所认把load average提取的代码给删了,需要的话可以根据上面的内容加。文件保存为shell.sh吧!使用方法为./shell.sh 主机名。我这里是./shell  ZJ-db1 。这样shell就完成了最近30天数据的提取,统一保存为每天的日期.txt。如10-31.txt。
而取得的内容为:

Memory-Average :  18.9783
max memory-used:
 20%
idle-Average :  95.1858
min idle-used:
 92.32

显然这样导到excel里很麻烦。我们可以再进行下转换。可以先将所有的数据进行下方便excel导的格式:
首先修改为以下格式,这里就要用到牛X的正则表达式了。

Memory-Average:18.9301
max memory-used:19%
idle-Average:95.3885
min idle-used:92.77

要转换为上面的格式,可以利用下面两个语句中的任一个实现。另外可以再加上for循环转换所有文件为上面的格式。

cat 10-31.txt | sed '/max/{N;s/n//}'
cat 10-31.txt|awk '{if(/min/){printf $0" ";next} else{print}}'

注:当然也可以两行同时匹配代码为cat 10-31.txt | sed '/max|min/{N;s/n//}'和
cat 10-31.txt|awk '{if(/min|/){printf $0" ";next} else{print}}'   进行处理,有多个匹配内容时,可以用|,不过前面最好加转义。
该名我使用的代码为

for i in `ls *.txt`;do sed -i '/max|min/{N;s/n//}' $i;done  

转换完成后,一个一个导还是不方便,要导入30多次,这时可以利用下awk '{ print $0 ,FILENAME}'该语名将所有的文件本日期加在最后,开成的格式就会如下面的样式。

Memory-Average:18.9301 10-13.txt
max memory-used:19%  10-13.txt
idle-Average:95.3885 10-13.txt
min idle-used:92.77 10-13.txt

如果感觉看起来不美观的话,还可以使用column和sed命令进行处理将.txt去掉,将三个列之间以:分开,并且按列对齐排列。这里就不详细介绍了。完了一个,形成的这一个文档就可以很方便的导入excel,再利excel的强大公式功能。进行增长率之类的计算了。我的最后的处理脚本是:

for i in `ls *.txt`;do sed -i '/max|min/{N;s/n//}' $i;awk '{ print $0 ,":",FILENAME}' $i>>test.test;done

当然,也可以可前面第一个取数据的脚本合并,这样一个脚本取出所有数据后,再通过excel公式处理。




本站的发展离不开您的资助,金额随意,欢迎来赏!

You can donate through PayPal.
My paypal id: itybku@139.com
Paypal page: https://www.paypal.me/361way

  1. 本文目前尚无任何评论.