如何使用Python抓取特定的ASP.NET页面？

Question

我想抓取一个ASP.NET网站，但是urls都是一样的，我如何使用python来抓取特定的页面呢？

这里是我想爬的网站： http://www.fveconstruction.ch/index.htm

(我用的是美丽的汤，urllib和python 3)

我应该得到哪些信息来区分一个页面和另一个页面？

Answer 1

如果目标网站只是一个单一的页面应用程序，它就不能被爬行。作为一种解决办法，当你手动浏览网站并要求爬虫使用这些请求时，你可以看到这些请求(GET、POST等)。或者，教你的爬虫执行javascript，至少目标网站上的内容。

网站需要修改才能轻松抓取，他们需要为每个需要索引的页面提供一个合理的非AJAX版本，或者提供到需要索引的页面的链接。或者使用类似pushState在angularJs中所做的事情。