从.aspx页面抓取数据

Question

我想从.aspx页面中抓取数据，我想知道除了使用selenium选择所有可能的选项并单击submit按钮之外，是否有任何方法可以做到这一点。我试着查看网络部分，但不知道数据来自何处。有人能帮我吗？

下面是到该页面的链接：

https://www.lgindiasocial.com/microsites/brand-store-web-five/locate.aspx

Answer 1

除了模拟选项更改和单击事件之外，没有其他方法。

原因：

页面由ASP.NET Ajax (WebForms)呈现。这是很多很多年前微软的Ajax实现。大多数人(如果不是所有的人)都认为Webforms很难接受。您所考虑的部分使用，UpdatePanel

允许不回发页面的部分呈现。

它不会像人们通常期望的那样返回xml或json请求。相反，它返回新呈现的html并将其放置在UpdatePanel中。

请求将是application/x-www-form-urlencoded，响应将是text/plain。它还发送` `ViewState (什么是视图状态及其在ASP.NET中的工作方式)。

如果您查看源代码，您将了解到UpdatePanel为网络选项卡中的每个xhr HTTP POST请求的<div id="UpdatePanel1">内部内容返回新的html。