C# -用网页爬虫下载网站ajax页面

Question

我用c# (使用Microsoft WebCrawler)编写了一个简单的网络爬虫项目，它可以下载特定站点的内容。

我已经为DocumentCompleted注册了事件，并等待页面的ReadyState完成。

当我使用任何浏览器导航到页面时，该站点运行得非常好。当我试图在代码中执行相同的操作时，页面的ajax部分没有正确加载。

正如Marcom建议的那样，我从我的网页爬虫和网页浏览器上看到了小提琴的响应。当我的网页爬虫导航到网页时，他会在与网页相反的一个仿真器上接收假信息。

有线索吗？

Answer 1

您可能需要模拟ajax所做的请求，以下载其余的数据。

使用像小提琴这样的工具来观察幕后发生的事情。