ifconfig dropped包比较多问题处理

ifconfig dropped rx packets

一、问题现象

上面的图已经很能描述问题,现网某业务反馈,其对应的几台主机发现active-backup的bond网卡接口对应的备用网卡,rx包基本上全都是dropped状态,而且一直在持续增长。登陆确认后,查看主机配置未发现异常,同时对比了下邻近主机的ifconfig输出(不同网段,不同业务)发现也存在该问题。

二、问题分析

1、初步分析结果

在检查配置未发现异常,而且从理论分析上来说,备用网卡是不走流量的(除非主用异常,备用切换为主),理论上来说,应该基本没有包通过才对。既然说不通,那就先tcpdump抓包看下内容:

tcpdump-dropped抓包

从抓包分析结果来看,都是来自于网关设备的VRRP组播包和ARP包。而交换机之间主备是走的VRRP协议。上面的192.168.40.2就是其中一台交换机配置的真实IP地址。又检查了下主机上确认未安装keepalive高可用包。于是考虑是否是网络设备配置有问题。

联合网络组同事进行排障分析,网络同事表示,这是组播包,是针对该网络所有主机发送的,这与广播类似,只不过一个是发送1次,一个是发送n次。备用网卡上收到这个包正常,因为所有的网卡上都会收到这样的包。

从理论上来讲,确实说的通。但在排障时,随机抽取了另一个机房的一台主机(主网络架构基本相同,都是交换机VRRP主备,主机网卡a-b bond模式),发现在该主机上备用网卡不存在丢弃包的问题。其通过在另一机房抓包反证,证明B机房的备用网卡上也有同样的包存在。通过对比认为还是系统的问题,可能和系统版本相关。因为发现redhat系统上没有该问题。

而在现网A、B两个机房分别找不同版本的OS对比发现如下结果:

SUSE11sp2之前的版本都不存在该问题,SUSE11 SP2及其后所有版本有该问题;
rhel5、rhel6所有版本不存在该问题(rhel7主要是虚拟机,未进行对比)

2、最终结果

既然版本不同,结果不一样,很可能新版本里某些参数发生了变化,我能想到的是sysctl 参数、 /boot/config-XXX配置的kernel启动项,如果找到相应的项,就能忽略网关设备发送的这种包造成的dropped。而在对比了不同OS版本下tcp/ip、cast、接口等相关的sysctl参数后,未发现有对应的控制项。在/boot/config-xx文件中也未找到有相对应的值。

放狗查询,发现翻墙用的google程序用不了了。退而求其次通过bing查询,在SUSE和redhat相应的knowledge页中找到了答案。(吐槽下,技术文档检索,百度做的不是一般的烂)。

三、问题结果

在SUSE的kb中可以发现如下内容:

Beginning with kernel 2.6.37, it has been changed the meaning of dropped packet count. Before, dropped packets was most likely due to an error. Now, the rx_dropped counter shows statistics for dropped frames because of:

从2.6.37内核以后,改变了dropped包的统计方式,其不再是以错误包的方式统计,以下情况也会计入dropped包。其值只是做为一种状态统计了。

Softnet backlog full  -- (Measured from /proc/net/softnet_stat)
Bad / Unintended VLAN tags
Unknown / Unregistered protocols
IPv6 frames when the server is not configured for IPv6

下面还有两句说的更直白了:

This effect is seen starting from SLES 11 SP2, as it utilizes a 3.x kernel series. Previous SLES versions do not exhibit it (that are using kernels prior to 2.6.37)
Please also note, for an active/backup bond setup it is common that the inactive device drops all packages.

尤其最后一句,在bond主备模式中,备用网卡接到的所有包都会计入dropped。

而redhat和其他发行对应的发行版如SUSE、ubuntu等来比,kernel和包都相对版本要低一些,这和其策略有关,未确认稳定的,不会加入到当前的发行版本中(说白了,让别人先踩坑,感觉合适了,我再用)。在未单独升级过kernel 的情况下,其只在rhel7中才会有该情况发生,而且其kb给出了前后统计方式不同的源码,具体变化在rt_kernel core/dev.c文件中,rhel7版本使用的如下:

static int __netif_receive_skb(struct sk_buff *skb)
.
.
.
        if (sk_memalloc_socks() && skb_pfmemalloc(skb)
                                && !skb_pfmemalloc_protocol(skb))
                goto drop;
.
.
.
       if (pt_prev) {
                if (unlikely(skb_orphan_frags(skb, GFP_ATOMIC)))
                        goto drop;
                else
                        ret = pt_prev->func(skb, skb->dev, pt_prev, orig_dev);
        } else {
drop:
                atomic_long_inc(&skb->dev->rx_dropped); <---- Counter is incremented
                kfree_skb(skb);

而在rhel6之前的kernel版本中,没有这些变化:

if (pt_prev) {
        ret = pt_prev->func(skb, skb->dev, pt_prev, orig_dev);
} else {
        kfree_skb(skb);
        /* Jamal, now you will not able to escape explaining
         * me how you were going to use this. 🙂
         */
        ret = NET_RX_DROP; <---- silently dropped
}

两个OS发行版对应的kb页如下:

SUSE ---ifconfig shows dropped rx packets

https://www.suse.com/support/kb/doc/?id=7007165

https://www.novell.com/support/kb/doc.php?id=7007165

Redhat---Why am I seeing the rx_dropped ifconfig counter increase on rt_kernel/RHEL7?

https://access.redhat.com/solutions/657483




本站的发展离不开您的资助,金额随意,欢迎来赏!

分类: Linux/unix/mac 标签:
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.