千次并发请求-EAI_ of /ECONNRESET错误

Question

我需要在一个小时内执行一百万次API调用(服务器可以处理这么多通信量)，为此，我使用节点并行运行多个请求，但是当我试图运行~1000个并发请求时，我仍然得到以下错误：

EAI_AGAIN

{ [Error: getaddrinfo EAI_AGAIN google.com:80]
  code: 'EAI_AGAIN',
  errno: 'EAI_AGAIN',
  syscall: 'getaddrinfo',
  hostname: 'google.com',
  host: 'google.com',
  port: 80 }

ECONNRESET

{
    [Error: read ECONNRESET] code: 'ECONNRESET',
    errno: 'ECONNRESET',
    syscall: 'read'
}

如果不将请求减少到500，我如何才能防止这种情况发生呢？

这里有一个代码示例，它在每次运行500个请求时运行得很好，但是当限制超过1000时就失败了。(您的限制可能有所不同)。

"use strict";
const http = require('http');
http.globalAgent.maxSockets = Infinity;
const async = require('async');
const request = require("request");

let success = 0;
let error = 0;

function iterateAsync() {
    let rows = [];
    for (let i = 0; i < 500; i++) {
        rows.push(i);
    }

    console.time("Requests");
    async.each(
        rows, 
        (item, callback) => get(callback), 
        (err) => {
            console.log("Failed: " + error);
            console.log("Success: " + success);
            console.timeEnd("Requests");
    });
}


function get(callback) {

    request("http://example.com", (err, response, body) => {
        if (err) {
            console.log(err);
            error++;
            return callback();
        }

        success++;
        callback();
    });
}

iterateAsync();

我添加了http.globalAgent.maxSockets = Infinity;，尽管它是默认值。

500请求

​

​

1000请求

​

​

相关信息：

我正在ubuntu14.04和15.04上运行测试，我在/etc/sysctl.conf中修改了file-max、tcp_fin_timeout、tcp_tw_reuse、ip_local_port_range默认值，如本帖子所述

• 文件-max： 100000
• tcp_fin_timeout: 15
• tcp_tw_reuse: 1
• ip_local_port_range: 10000 65000

在/etc/security/ lines s.conf中添加了以下行

*     soft    nofile          100000
*     hard    nofile          100000

有了这个值，我仍然会得到错误。

我读过其他类似的文章：

• httpd -增加并发请求的数量
• 节点中数千个并发http请求
• 增加linux中tcp/ip连接的最大数量

有什么方法可以知道系统可以管理的并发请求的确切数量吗？

Answer 1

下面是我如何在@jfriend00输入之后解决这个问题。

我使用dns.resolve4解析主机IP地址，然后使用IP执行请求，这样错误就消失了，我可以在更短的时间内执行更多的请求。

"use strict";

const dns = require("dns");
const http = require('http');

http.globalAgent.maxSockets = Infinity;

const async = require('async');
const request = require("request");

let success = 0;
let error = 0;

function iterateAsync() {
    let rows = [];
    for (let i = 0; i < 500; i++) {
        rows.push(i);
    }

    console.time("Requests");

    dns.resolve4("example.com", (err, addresses) =>{ //Resolve host and obtain IP address

        if(err) //Handle error
            return false;

        async.each(
            rows,
            (item, callback) => get(`http://${addresses[0]}`, callback),
            (err) => {
                console.log("Failed: " + error);
                console.log("Success: " + success);
                console.timeEnd("Requests");
            });

    });


}

function get(host, callback) {

    request(host, (err, response, body) => {
        if (err) {
            console.log(err);
            error++;
            return callback();
        }

        success++;
        callback();
    });
}


//Start requests
iterateAsync();

输出：

Failed: 0
Success: 500
Requests: 6295.799ms