SO_REUSEPORT套接字服务器

Question

我一直在为Linux开发一个多线程socket服务器，我正在尝试不同的方法来多路复用I/O，看看哪种方法效果最好。

我已经获得了创建共享epoll /套接字的代码-启用了EPOLLONESHOT -每个线程从中提取事件，然后在处理后重新武装fd上的EPOLLONESHOT。

(在这种情况下，“处理”是指一直读到EAGAIN / EWOULDBLOCK，然后发回一个简单的回复。基本上，我使用"ab“来测试它，所以它发送一个HTTP GET请求，我发送一个HTTP”200OK“返回。)

但我想试试SO_REUSEPORT。因此，每个线程都有自己的epoll /套接字，绑定到相同的端口。实际上，每个线程都是它自己的“小服务器”，我们让内核在它们之间进行负载平衡。

我做了一个accept()，获取传入连接的fd，所以我将其添加到epoll中。在该fd上完成处理后，我自然会调用close()来结束会话。

但这似乎会间歇性地丢弃传入接受(“间歇性地”，我的意思是它的行为就像一种竞争条件--有时有效，有时无效，以一种随机的方式)。

我正在试着想出一个解决这个问题的方法。

我的一个想法是将accepts从epoll处理队列中分离出来，这样关闭epoll上的fd就不会清除队列中的accepts。

但这在逻辑上是行不通的，因为我不能让一个线程同时阻塞accept()和epoll_wait()。为了正确地多路复用，我们必须阻塞所有的事件。

我得到的方法是，有多少个核心，就有多少个“迷你服务器”，每个服务器都固定在一个核心上。因此，它们实际上都是并行运行的，没有上下文切换。

这意味着，尽管我可以产生一个新线程来处理新传入的fd -并让主线程在循环中只接受()-但这在某种程度上违背了固定CPU的目的，并且多路复用的整个想法是为了摆脱“每个连接一个线程”的事情。

我查找了一个SO_REUSEPORT服务器的源代码，看看其他人可能如何处理这个问题，但我所能找到的只是一个简单的演示，它不是多线程/多核的。

有谁知道我如何解决这个问题，使多线程SO_REUSEPORT套接字服务器真正工作？

Answer 1

当我测试自己的服务器代码时，我的注意力集中在服务器上。这很自然。

但注意到我在互联网上找到的一个设置SO_RCVTIMEO套接字选项-接收超时-的示例，在将套接字fd从accept添加到epoll之前，我也尝试了一下，现在它都运行得没有问题(有1000个并发的一百万个请求，每个内核的使用率稳定在30-40%左右)。

将超时添加到所有操作中是有意义的-以防万一-因为网络通信从来都不是100%完美的。而且，就像在编码中一样，人们应该将所有的输入都视为不可靠的，并且无论如何都可能是恶意的。