为什么这个简单的网页爬虫会失败？

Question

我正在用一个非常简单的代码片段测试HtmlAgilityPack，但是它仍然失败，我不明白为什么。

var html2 = @"http://www.monki.com/en_sek/newin/view-all-new.html";

            HtmlWeb web2 = new HtmlWeb();

            var htmldoc2 = web2.Load(html2);

            var node2 = htmldoc2.DocumentNode.SelectSingleNode("//head/title");

            Console.WriteLine("\n\n\n\n");

            Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);

当然，我已经检查了页面上的标题和标题，但是node2仍然是空的，我无法解释原因。

Answer 1

看上去网页想要设置cookie。还请参见this answer with the same problem

var loader = new HtmlWeb{ UseCookies = true };
var doc = loader.Load(@"http://www.monki.com/en_sek/newin/view-all-new.html");

var node2 = doc.DocumentNode.SelectSingleNode("//head/title");
Console.WriteLine("\n\n\n\n");
Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);