处理特高体积奇异流

Question

我想知道是否有人有经验，感觉单个流量产生90公里或以上的流量。我的难题是，我使用我希望能够正确看到整个流的工具(Zeek，Suricata)，然而，如果单个连接超过“工作线程”的最大处理速率，这两个实用程序都无法处理更大的通信量。由于单个连接能够生成这种流量，我不知道负载平衡方法和相应的软件会从Zeek &Suricata产生类似的结果信息(可以理解，Zeek与Suricata的关系要小得多，因为看到整个连接并不是绝对必要的，但是让一个巨大的连接填充rx环会导致随后的连接丢失)。

对于引用，我目前正在使用AF_Packet家族套接字，用于Zeek中的两个Suricata，它们都处于各自的扇出状态。我获得了大约48000 per运行suricata，其中有4个捕获线程，使用我的当前配置，每个Zeekctl集群大约有26000 per。

我知道最明智的做法是严格分析流程，然后过滤掉预传感器，然而我怀疑组织中的策略是否允许我这样做，但我一直不太幸运地寻找一个令人满意的工具或重新配置。

我希望有人可能有处理这类情况的经验，或者知道软件的每一个“工人/线程”率的限制较小，这将产生类似的结果(或者诚实地说，任何结果不会导致大量的数据包丢失)。

Answer 1

我要研究的第一件事是转换为使用PF_环插座。

如果这还不够，那么它可能是专用网络数据包代理硬件的一项工作。您会想看看像阿丽斯塔、吉加蒙或艾霞这样的供应商。一些高端交换机可能也有内置的功能。

如果您真的和真正的CPU绑定单流，而不是总流量，那么购买CPU的极端单核性能，您可能是运气不好的Zeek，并将不得不切换到一个商业流处理器，支持NIC硬件数据包处理。