我在Ubuntu主机上运行了3个QEMU-KVM虚拟机。每个VM都有一个virt-io nic,并通过主机操作系统中的br0网桥连接。每个NIC的MTU都配置为1500。该平台运行一个基于消息队列的应用程序:一个虚拟机作为生产者,一个虚拟机作为消息队列服务器,最后一个虚拟机作为消费者。
我的问题是:当来宾虚拟机变得繁忙时,消息队列服务器虚拟机可能会偶尔发送大小为2k、4k或5k的数据包。它超过了NIC的MTU值1500!据我所知,Linux IP协议栈应该在发送之前将小于MTU大小的IP帧进行剪切。为什么此虚拟机在繁忙时发送大型数据包?
以下是该平台的架构:
[w2: celery caller (message queue producer) ]
| (messages in TCP)
V
[w3: rabbitmq server]
| (messages in TCP)
V
[w4: celeryd (message queue consumer)]下面是w3的屏幕截图,MTU为1500,发送大小大于2000的数据包

下面是w4的屏幕截图,MTU为1500,接收大小大于2000的数据包

发布于 2014-03-13 14:15:23
谢谢大家,我现在找到了答案。
来宾操作系统中的virtio-NIC支持TCP分段卸载(TSO),并且默认情况下处于启用状态。NIC的TSO功能是TCP层不执行帧分割,并且由NIC驱动程序或硬件离线执行分割。TSO是为了提高发送大包时的性能,卸载TCP发送器程序的工作负载,网卡驱动在这种模式下接收大包,并将其分成较小的载荷、IP头和TCP头。这种卸载处理的好处是驱动程序可以很好地使用硬件或在分段期间重用报头skb缓冲区。
下面是支持TSO功能的驱动程序代码。
在它的发送函数中,它调用atl1c_tso_csum()来检查传输缓冲区的标志& SKB_GSO_TCPV4。如果缓冲区包含SKB_GSO_TCPV4标志,则对其进行分段,添加ip报头和添加TCP头。
然而,virtio NIC支持TSO特征,因为virtio NIC分组正在发送到主机OS。它的驱动程序的tx功能只需要发送整个数据包,就可以获得更高的网络带宽。
注意:在来宾VM中关闭TSO标志后,在tcpdump上看不到大的数据包。以下是命令:
$ethtool -k eth0
Offload parameters for eth0:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp-segmentation-offload: off
udp-fragmentation-offload: on
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: off
receive-hashing: off
$ethtool -K eth0 tso off
$https://stackoverflow.com/questions/22369022
复制相似问题