按scrapy查询时网站不返回表

Question

我正在尝试查询https://www.bankofindia.co.in/Home/BranchLocator?page=1，当我打开网站时，它会显示数据表。在页面中向前和向后移动也会显示和更新表。但是，当通过scrapy进行查询时，不会返回表。

    start_urls = [
    "https://www.bankofindia.co.in/Home/BranchLocator?page={}".format(i)
    for i in range(1, 10)
]

def parse(self, response, **kwargs):
    """Parse response."""
    all_names = response.xpath(
        "//span[@id='BranchName']/text()",
    ).extract()
    for name in all_names:
        print(name)

    all_addresses = response.xpath(
        "//span[@id='Address']/text()",
    ).extract()

是我做错了什么，还是网站运行不正确？

Answer 1

这里没什么问题。实际上，要获取表格数据，您必须填写表单，填写的表单将生成表格，而您必须抓取表格数据，否则这是不可能的。您看到的带有页码的表数据是动态的，甚至不是从xhr api请求生成的。

注:您需要填写以下内容:早午餐名称，IFSC代码，州，城市