HttpWebRequest返回的结果与web浏览器不同

Question

我正在尝试爬行一个网站并获取其页面的数据。一切都很顺利，直到某一时刻，我开始获得与视图源中的数据不同的数据(我所期望的那个)。我正在使用html-agility-pack，但也尝试使用HttpWebRequest，以便更改它的所有头文件，但没有成功。我知道这不是一个JavaScript技巧，因为视图源中的数据。我希望有人有一个可能的解释或解决方案的想法。

Answer 1

有很多因素可能会影响服务器发送给您的html。我建议您使用诸如fiddler之类的工具来更仔细地检查请求头。

根据我的经验，此类问题的罪魁祸首通常是cookies和会话信息，它们作为隐藏字段存储在文档中，并作为请求主体的一部分随每个请求一起发送。