HTMLAgility加速webget

Question

写一些网页抓取相当新，所以我对此表示歉意。我试图减少这个应用程序的运行时间。当浏览一个大约100只股票的列表时，需要超过30秒(我只是列出了一个5的列表，以表示简洁)。有没有办法提高线程/异步编程的效率？我可能遇到了一个限制，即雅虎服务器想要立即发送回一个IP的数量。最终，我的目标是创建一个类"stock“，它将获取像这样的基于web的数据的一系列属性。

    static void Main(string[] args)
    {
        List<string> stocks = new List<string>() { "AA", "AAL", "AAPL", "ABX", "ADBE" };
        foreach (var stock in stocks)
        {
            Task.Factory.StartNew(() => { getPrice(stock); });
        }
        Console.ReadLine();

    }
    private static void getPrice(string stock)
    {
        var webGet = new HtmlWeb();
        var doc = webGet.Load("http://finance.yahoo.com/q?s=" + stock);
        HtmlNode ourNode = doc.DocumentNode.SelectSingleNode("//*[@id=\"yfs_l84_" + stock.ToString().ToLower() + "\"]");
        if (ourNode != null)
        {
            Console.WriteLine(stock + ": " + ourNode.InnerText);
        }
    }

Answer 1

使用Parallel.ForEach循环，但不要期望有很大的改进，因为速度取决于雅虎的响应时间99%。

Parallel.ForEach(stocks, stock =>
{
    getPrice(stock);
});

使用Parallel.ForEach，您还可以设置并行度(执行了多少并发操作)。

Parallel.ForEach(stocks, new ParallelOptions() { MaxDegreeOfParallelism = 3 }, stock =>
{
    getPrice(stock);
});

有关更多信息，请参阅MSDN文档：https://msdn.microsoft.com/en-us/library/dd460720%28v=vs.110%29.aspx和https://msdn.microsoft.com/en-us/library/system.threading.tasks.parallel%28v=vs.110%29.aspx