expressjs压力测试

Question

我有一个相当困难的时间，试图找出我的网络服务器(切诺基)和expressjs网站之间的性能瓶颈。

由于不断增长的帖子流量，我们开始时不时地看到性能问题。所以我设计了一个测试，看看网站的1、2、3和4个实例的临界点会是什么，并对糟糕的性能感到震惊(在每秒5的速度下工作得很好，在每秒10的速度下工作得很差)。

根据我的性能记录，一个完整的请求从开始到结束所需的时间在1000-4000毫秒之间，在短时间内开始以线性趋势增加，因此大约5分钟后，请求将花费40,000-60,0000毫秒。expressjs网站中记录的开始结束请求的性能记录需要100-400毫秒(这段时间的大部分时间是花费在等待Java API响应上的90-390毫秒)。

我研究过连接池/最大套接字，但是我不知道如何使用express来配置它，并且随着流量的不断增长，我开始感受到wesite性能的每一次下降所带来的压力。

现在我有两个理论: 1.压力测试代码真的有问题；2.无论是从压力测试应用程序发送请求时，还是在expressjs中发送请求时，都存在一个小连接池。

如果以上任何一种情况属实，我都不知道如何解决这些问题。

--压力测试应用--

/*
 * POST stress testing
 */
var rest            = require( "restler");
var u               = require( "../underscore")._;
var uuid            = require( "node-guid" );
var fs              = require( "fs" );
var quoteContent    = fs.readFileSync( __dirname + "/data/quoteList.json" );
var quotes          = JSON.parse( quoteContent ).quotes;
var feedListContent = fs.readFileSync( __dirname + "/data/feedList.json" );
var feeds           = JSON.parse( feedListContent ).feeds;
var feedLength      = feeds.length;

var experiment      = { "users": 2, "frequency": 1000 };

// Clear memory out  bit
quoteContent        = null;
feedListContent     = null;

console.log("Concurrent users:", experiment.users);
console.log("Every          :", (experiment.frequency / 1000) + " seconds" );

setInterval(
    function()
        {
            var rndQuote;

            for(i=0;i<experiment.users;i++)
                {
                    delayPost( (experiment.frequency) / (experiment.users + 1) );
                }
        }
, experiment.frequency);

function delayPost( delay )
    {
        setTimeout(
            function()
                {
                    rndQuote = getRandomQuote();
                    postToRandomFeed( rndQuote );
                }
        , delay );
    }

function getRandomQuote()
    {
        var n = Math.floor( Math.random() * feedLength );
        return quotes[n];
    }

function postToRandomFeed( theQuote )
    {
        var n           = Math.floor( Math.random() * feedLength );
        var feed        = feeds[n];

        var     kloudId = feed.kloudId
            ,   feedId  = feed._id
            ,   uid     = feed.owner["$oid"]
            ,   url     = "quote://" + uuid.new() // Generate random URL
            ,   quote   = theQuote.quote
            ,   author  = theQuote.author;

        var     data    = { "url" : url, "title": quote, "text": quote, "tags": [author], "feeds": [ feedId ] }
            ,   postTo  = [ "http://127.0.0.1:4100/api/content/post/" + uid + "/wintermead" /*, "http://127.0.0.1:4101/api/content/post/" + uid + "/wintermead"*/ ]
            ,   ports = [ 4100 ];

        var st = gt();

        var postUrl = postTo[ Math.floor(Math.random()*postTo.length) ];

        console.log( postUrl );

        rest.post( postUrl,
            {
                  "data": data
                , "headers":
                    { "kloudid": kloudId, 'Connection':'close', 'Connection-Timeout': 10 }
            }
        ).on('complete',
            function( data, response )
                {
                    gt( "end: ",st );
                    if (response.statusCode == 202 ||response.statusCode == 201 || response.statusCode == 200)
                        {
                            try {
                                data =JSON.parse( data );
                            } catch(e) {}

                            if( data && data.error )
                                console.log( "1", data.message );
                            else
                                console.log( "2", data._id );
                            // you can get at the raw response like this...
                        }
                    else
                        {
                            console.log( "! Error ", response.statusCode, data );
                        }
                }
        );
    }

function gt( name, lastTime )
    {
        if( !name || name=="start" )
            {
                var d = new Date().getTime();
                var uu = uuid.new();
                return (d + "|" + uu);
            }
        else if( lastTime )
            {
                var props   = lastTime.split("|");
                var time    = parseInt(props[0]);
                var uu      = props[1];
                console.log( uu, name, ( new Date().getTime() - time ));
            }
        else
            {
                console.log( "logging: invalid start time  " + name);
            }
    }

Answer 1

您是否考虑过使用现有的压力测试工具，如ab (apache bench)或siege？

我知道编写自己的代码很诱人，但现有的工具是可靠的，您可以专注于修复您的站点，而不是负载测试工具。