selenium与python web爬虫

Question

我想屏幕抓取有多个页面的网站。这些页面在不更改URL的情况下动态加载。因此，我使用selenium对其进行筛选。但是对于这个简单的程序，我得到了一个例外。

import re
from contextlib import closing
from selenium.webdriver import Firefox 

url="http://www.samsung.com/in/consumer/mobile-phone/mobile-phone/smartphone/"

with closing(Firefox()) as browser:
    n = 2
    link = browser.find_element_by_link_text(str(n))
    link.click()
    #web_page=browser.page_source
    #print type(web_page)

错误如下

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: u'Unable to locate element: {"method":"link text","selector":"2"}' ; Stacktrace: Method FirefoxDriver.prototype.findElementInternal_ threw an error in file:///tmp/tmpMJeeTr/extensions/fxdriver@googlecode.com/components/driver_component.js 

是给定的url有问题，还是firefox浏览器有问题。如果有人帮我的话那就太好了。

Answer 1

browser.implicitly_wait(10)
n = 2
link = browser.find_element_by_link_text(str(n))
link.click()
#web_page=browser.page_source
#print type(web_page)

Answer 2

我正在开发一个python模块，它可能会覆盖您(或其他人)的用例：

https://github.com/cmwslw/selenium-crawler

它将记录的selenium脚本转换为爬行函数，从而避免编写上述任何代码。它可以很好地处理动态加载内容的页面。我希望有人会觉得这很有用。