回答情况：
提问时间：
问题标签：
所以，我必须在一个网站的每个网页中抓取一个表格，有324个网页(意味着324个表格)，每个表格有1000行和7列，但1列是无用的，我没有使用那一列。代码如下：driver.get('https://beheshtezahra.tehran.ir/Default.aspx?tabid=92')
part_count =
浏览 2提问于2021-10-10得票数 0
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
爬虫是使用Selenium和Python构建的。
浏览 2提问于2019-05-21得票数 1
我正在为所有ID (3000+)爬行一个页面，稍后将其保存到文本文件中。next.click()*100.....我的当前(工作)代码：#next page button
time.sl
浏览 2提问于2022-01-23得票数 0
回答已采纳
因此，我使用selenium对其进行筛选。但是对于这个简单的程序，我得到了一个例外。import refrom selenium.webdriver import Firefox
#print type(web_page)raise exception_class(message, screen, stacktrace)
selenium</
浏览 3修改于2013-01-25得票数 1
回答已采纳
我刚写了这个instagram爬虫，这是大学的一个小项目。我会给你看代码并上传一张图片给你看我的问题是什么。from time import sleepfrom selenium.webdriver.common.action_chains importself.target_username = target_username
self.driver = webdriver.Chrome("/Users/Shahriar/
浏览 0提问于2019-04-06得票数 0
回答已采纳
我正在进行一个使用Selenium和Python 3.6在Jupyter Notebook中使用web爬虫的项目。目标网页是
from selenium import webdriver[<selenium.webdriver.remote.webelement
浏览 0修改于2021-02-08得票数 0
Python代码：driver = webdriver.PhantomJS()
driver.get('http://www.google.com
浏览 1提问于2013-08-06得票数 1
回答已采纳
我在大学的一个项目中为网页建了一台机器。现在，我在网页中遇到了测试下拉列表。具体来说，下面的页面不使用标准的“下拉”类。我很难执行一个决策程序来判断网页中是否有下拉，以及是否有下降的情况。我不知道浏览器是如何知道下拉标签的。html源包含一个ul的navlist类。这个ul中的安莉标签包含另一个ul，它实际上是一个悬停的下拉列表。
但我真的不明白浏览器怎么会知道这是一个下拉列
浏览 2修改于2019-02-23得票数 0
回答已采纳
我有一个网络爬虫，我想把它检索到的html+javascript传递给selenium，这是可能的吗？为了澄清，我不想使用webdriver.get检索selenium的页面，因为我的爬虫更快。
浏览 3提问于2013-07-13得票数 1
回答已采纳
Selenium (RC)正被用于测试ASP.NET 1.1站点。当我们通过Selenium (这反过来通过配置的浏览器(在本例中是Firefox)自动执行请求)提出请求时，http谓词是"HEAD“。为什么当Selenium正在自动化浏览器而不是If-修改--从头开始生成HEAD谓词呢？
我们还看到了使用HEAD动词的(非主流)爬虫的日志条目。我们创建了robots.txt条目来阻止这些爬虫对站点进行索引，但是现在我们想知道从SEO的角度来看最佳实践是什么。对于爬虫来说，
浏览 2修改于2013-02-25得票数 2
回答已采纳
环顾四周，似乎如果你通过Scrapy登录到一个网站，如果你试图在爬虫中使用Selenium，认证的登录会话不会转移。有没有办法把这个会话转移到Selenium上？或者我必须用Selenium重新登录网站吗？
谢谢!
浏览 1提问于2016-07-15得票数 3
1回答
我正在制作一个爬虫，可以用于所有的电子商务网站。目前，我正在以下网站上测试我的爬虫。
就个人而言，我成功地抓取了所有四个网站，但当我制作一个普通的爬虫时，我不知道如何显示更多的产品。最初我已经开始使用selenium，但这不是必需的，如果有比Selenium更好的其他模块，我会很乐意使用它。
浏览 1修改于2014-06-14得票数 0
我将通过分析Web页面的内容来构建一个Web爬虫。我正在使用Selenium Java API来呈现页面，并尝试构建完整的DOM来进行模糊分析。但是，我发现Selenium提供的API只能用于通过标记或id/类名称查找元素。如何使用Selenium转储完整的DOM树？有什么想法吗？
浏览 13提问于2016-09-23得票数 0
我正在使用selenium和scrapy实现一个TikTok爬虫.... driver = webdriver.Chrome(chrome_options=options)爬虫打开使用使用Selenium的简单脚本的相同问题
f
浏览 6修改于2019-12-11得票数 5
我正在使用phantomjs来构建一个网络爬虫。我目前使用的爬虫是一个使用selenium的Python脚本，它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页)，但是如果没有GUI，它就不能部署到linux服务器上。
浏览 1提问于2013-07-31得票数 6
我想使用selenium创建一个网络爬虫。self.parse)
print(response.request.meta['driver'].title)SELENIUM_DRIVER_NAME= 'chrome'SELENIUM_DRIV
浏览 3修改于2021-02-12得票数 7
回答已采纳
www.notebooksbilliger.de/lenovo+320+15abr+80xs009bge/incrpc/topprod with status 405 in msec 53
这页似乎有爬虫保护是否还可以使用风暴爬虫和selenium一起爬行呢？
浏览 1修改于2018-04-09得票数 1
回答已采纳
我构建了基于ChromeDriver Selenium的爬虫，当我的自动爬虫爬行应用程序时，我想测量web应用程序的代码覆盖率。
浏览 2修改于2021-06-03得票数 1
回答已采纳
1回答
我使用go selenium包：https://github.com/tebeka/selenium，并使用幻影浏览器： "browserName": "phantomjs",if err !我试图做一个爬虫和某些网站不会加载一个无头浏览器用户代理。我
浏览 2提问于2016-02-01得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号