Tomcat使用Jersey Jax-RS在单个服务器上每秒执行15K请求

Question

我尝试在VPS上测试，每秒接近10K个请求，这是一个simple 'hello world' servlet，更不用说调用membase了。

我的VPS是2x Intel Xeon X5570，四核“Nehalem”架构。

注意:我不是java专家，也不是tomcat专家，这是默认设置。

有没有其他人处理过如此高的流量，可能会带来一些曙光？

我使用apache bench，大概运行了4-5次，向服务器发出了大约100K的请求。

原创：how to handle 2000+ requests/sec on tomcat?

Answer 1

打开NIO (非阻塞IO)。默认情况下，此选项未启用。在没有NIO的情况下，每个HTTP连接都由单个线程处理，限制取决于可用线程的数量。使用NIO，单个线程可以处理多个HTTP连接，限制取决于可用的堆内存量。在大约2 go的情况下，你可以连接到20K。

要打开NIO，只需将Tomcat /conf/server.xml中元素的protocol属性更改为"org.apache.coyote.http11.Http11NioProtocol"即可。

<Connector
    protocol="org.apache.coyote.http11.Http11NioProtocol"
    port="80"
    redirectPort="8443"
    connectionTimeout="20000"
    compression="on" />