watchdog及其应用

一、watchdog介绍

watchdog 通常是一段物理电路,但这里讲的是linux 内核的实现,也就是softdog ,其原理详见IBM developerworks 。能够在系统资源耗尽之际实现系统软重启,防止硬重启带来的巨大损失。Watchdog 默认的动作是每隔1分钟往/dev/watchdog设备执行写操作,以证明系统运行正常,发现异常就主动发出重启信号。

watchdog可以通过系统编程实现一些功能,但在linux对应的rpm包里已经帮我们集成了一个watchdog应用。该watchdog 提供了两个接口test和repair 。test选项提供了测试机制,一旦测试失败,watchdog就会采取行动挽救,也就是repair 。 repair 选项提供了挽救系统的办法,默认是重启系统,但可以定制,通常是一个shell 脚本。

二、watchdog应用

安装和启用watchdog包

# yum install watchdog
# modinfo softdog  

/etc/watchdog.conf 配置

min-memory  = 10
#注意,这里指内存页面数,而不是内存大小,内存大小等于页面大小乘以页面数目。
#使用命令“ getconf PAGESIZE” 获得系统内存页面大小,我这里是4096K=4M,也就是说,这里设置的最低内存为4M x 10 = 40M
#意即,当系统可用虚拟内存低于40M时,watchdog将主动重启。
watchdog-device    = /dev/watchdog
admin          = root    #发信收件人,这里是管理员。需要sendmail支持。
interval        = 10      #每间隔10秒钟往/dev/watchdog设备中执行一次写操作。
logtick          = 60     #睡眠时间,持续写日志到syslog很耗磁盘空间和CPU资源,此选项会隔一段时间写一次,节省资源。
realtime       = yes   #实时监控,将watchdog 封入内存,防止在系统高负载时watchdog 意外退出。
priority         = 1      #优先级 

从上面可以得到,watchdog的配置文件里可以监控网络、负载、内存、进程的pid号等。比如在监控到eth0口不正常的时候,我们直接ifup eth0接口 。其配置如下:

# /etc/watchdog.conf 文件中打开如下选项:
interface = eth0
repair-binary= /etc/watchdog.d/repair.sh
# repair.sh内容如下
#!/usr/bin/env bash
ifconfig eth0 >/dev/null
if [$? != “0”];then
        ifup eth0
fi

此时通过手动停止eth0网卡,就会发现,直接网卡被修复又起来了。

同样其还有test选项,可以通过开启脚本来自定义检测,如下:

#!/usr/bin/env bash
process_number=`pgrep java |wc -l`
if [ $process_number  == “0” ];then
        echo “process java is not running”
        exit 1
fi

通过检测java进程是否异常,再进行修复(不就是守护进程的功能吗?)。repair脚本的内容这里就不写了。

注:如果repair 失败的话,watchdog依然会重启系统,这个需要注意!可以通过在repair 脚本中加入 exit 0 来防止watchdog 重启系统,即无论修复是否成功,都返回成功,骗过watchdog 的重启机制




本站的发展离不开您的资助,金额随意,欢迎来赏!

分类: Linux/unix/mac 标签:
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.