关于C#多线程

Question

是否可以将Abot Crawler称为多线程？我看过一个代码例子，但没有找到答案。当我创建1个Abot Crawler实例并在foreach语句中调用Crawl方法时，只有1个触发已完成事件。

foreach(var pero in list)
{
      crawler.Crawl(pero.Url);
}

This does not work.Crawler_PageCrawlCompletedAsync只调用一次。

Answer 1

不需要foreach循环。Abot在后台执行多线程。您给它一个url进行爬行，它将在每个爬虫对象实例中产生最多x个并发http请求。这可以通过使用Abot2.Poco.CrawlConfiguration.MaxConcurrentThreads设置来设置。

var config = new CrawlConfiguration
{
    MaxConcurrentThreads = 10
    MaxPagesToCrawl = 50, 
};
var crawler = new PoliteWebCrawler(config);

crawler.PageCrawlCompleted += PageCrawlCompleted;//Several events available...

var crawlResult = await crawler.CrawlAsync(new Uri("http://!!!!!!!!YOURSITEHERE!!!!!!!!!.com"));

小心点就好。它可以请求和处理页面，速度比大多数站点能够/将为其提供服务的速度快得多。这是非常容易得到你的ip禁止/阻止。