我有一个Python + Selenium脚本,可以帮助我抓取信息。然而,网页不时会遇到错误,然后我需要刷新页面并再次抓取。问题是这个错误是不稳定的,当我已经点击了一些按钮或填写了一些表单时,它可能会使我的刮刀崩溃。
我需要找到一个优雅的方法来刷新页面完全相同的按钮点击(我的意思是,完全相同的状态)。有什么帮助吗?
发布于 2017-08-29 17:30:34
如果你构建一个健壮的scrapy系统,你必须考虑异常处理。我已经做了一些大型的抓取项目.in这些项目,我们将使用日志系统来记录异常,然后重试时,如果没有成功抓取消息。
https://stackoverflow.com/questions/45935059
复制相似问题