我正在试着从这个页面抓取表格:http://data.eastmoney.com/xg/xg/有18个单独的页面,url不会为每个页面改变。
我该如何抓取这些数据呢?我通常使用BeautifulSoup来抓取HTML页面,但在这种情况下,数据不会出现在HTML代码中,所以我不能在url上使用BeautifulSoup来获取所需的数据。
任何建议都将不胜感激。
发布于 2015-07-08 05:30:47
看一下这个页面的源代码,它只是调用了这个url,它似乎返回了一个csv类型的文件,您可以知道如何处理。
http://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=NS&sty=NSST&st=12&sr=-1&p=1&ps=50&js=var%20IBnVRrwA={pages:%28pc%29,data:[%28x%29]}&stat=1&rt=47876809
底线是你不需要刮这张桌子
看看&ps=50的值,这就是限制,把它放在像&ps=5000这样的值上,你应该不需要在页面之间切换。
&js=var%20IBnVRrwA={pages:%28pc%29,data:[%28x%29]}位是jsonp回调吗?
https://stackoverflow.com/questions/31279496
复制相似问题