使用Python阅读网页搜索结果

Question

我希望能够生成某些类型的网络搜索匹配的自动警报。第一步是在Python中读取url，这样我就可以使用BeautifulSoup或其他基于正则表达式的方法来解析它。但是，对于下面示例中的页面，当我使用浏览器打开页面时，html不能捕获我正在可视化的结果。有没有一种方法可以真正获得包含搜索结果的HTML？

import urllib

link = 'http://www.sas.com/jobs/USjobs/search.html'
f = urllib.urlopen(link)
myfile = f.read()
print myfile

Answer 1

你不能通过使用传统的urllib、urllib2或requests模块(甚至是机械化)来获得使用javascript动态生成的数据。您必须使用selenium和chrome或Firefox或phantomjs来模拟浏览器环境，以评估网页中的javascript。

看一看Selenium Binding for python