如何使用selenium python获取页面中的所有链接？

文章/答案/技术大牛

发布

0回答

python-3.x、selenium-webdriver

我已经尝试了下面给出的代码，但每次运行代码时，都会有一些链接添加到缺少的地方。我想将页面中的所有链接放在一个列表中，这样我就可以使用切片转到任何我想要的链接。elem in eles:# print(url)有没有办法在不丢失任何元素<

浏览 8提问于2018-07-11得票数 0

3回答

Selenium使用Python时，如何在运行脚本后获得页面输出？

python、selenium、browser-automation

我不确定如何找到这些信息，到目前为止，我已经找到了一些关于使用Python和selenium的教程，但没有一本涉及到这一点。我可以通过python运行一些自动化selenium的基本测试脚本，但它只会显示浏览器窗口几秒钟，然后将其关闭。我需要将浏览器输出转换为字符串/变量(理想情况下)，或者至少将其保存到文件中，这样python就可以对其执行其他操作(解析等)。如果有人能给我指出如何做到这

浏览 22提问于2010-08-26得票数 3

回答已采纳

2回答

Python Selenium -如何单击动态生成的href页面链接

python、api、selenium、automation、selenium-webdriver-python

我正在使用selenium和python自动化一个过程。但是我被一些东西卡住了。我必须点击一个使用selenium的链接。这个链接是href，每次都会动态生成。href链接将类似于3。对于另一个页面，它将是66 现在，为了模拟这个链接的点击，有什么方法可以点击它吗？如何获取动态生成的链接？我正在为sel

浏览 8提问于2021-09-07得票数 0

1回答

使用Python抓取Selenium* JS地图*

python、selenium、web-scraping

我对Selenium是个新手，实际上我从昨天就开始尝试了，我发现了一些关于Selenium和python的有趣的东西。我找到了一些关于如何抓取JS页面并与之交互的信息。但我的疑问是，如何使用selenium从可点击的地图中获取数据。我试着找出页面中是否有隐藏的链接，但是没有

浏览 1提问于2015-12-20得票数 0

2回答

使用python的selenium弹出保存文件问题

python、selenium

我正在与硒的html工作。点击最后一个链接后，弹出的内容是保存文件。我想知道如何使用python从代码中获取弹出文件？

浏览 1提问于2012-05-30得票数 0

1回答

Python 3+ Javascript

javascript、python、html

我下载了一个html页面。我需要解析一个字符串表单页面，但它在javascripts之后。当我在浏览器中运行这个页面时-一切看起来都很漂亮，但在html代码中我看到了如下所示： <script type="text/javascript">function deobfuscate_html(我想要看到非常原始的，就像在浏览器中一样。

浏览 0提问于2012-09-29得票数 0

1回答

如何在Mac上使用Selenium* WebDriver？*

python、macos、selenium、selenium-webdriver

我目前正在学习如何使用Python (3.7)实现自动化。因此，首先，我在我的MacBook (Mojav10.14.1)上安装了带有Homebrew的Selenium独立服务器3.141.5。我认为这将是一个简单的方法，安装是成功的。在此之后，我使用了一个小Python脚本来用Selenium测试火狐webDriver --只是为了看看一切是否正常，但没有.Users/Sandra&#

浏览 0提问于2018-11-14得票数 0

回答已采纳

1回答

使用Selenium* Python获取所有链接*

python、selenium、chrome-web-driver

在一个网页中，有15个链接以类似的链接名开头，它们位于iframe中。如果我试图获取这些链接，并不是所有的链接都会被获取。下面是我尝试过的代码。partial link text", 'SA'))) print(str(link.get_attribute("href"))) 如果我手动放大网页的最

浏览 8提问于2022-09-13得票数 -1

2回答

如何知道页面是脱机的还是没有响应的？

python-3.x、selenium、selenium-webdriver、webdriver、python-requests

我用Python编写了一个简单的代码，可以浏览存储在tuple中的几个网页。其目标是定期浏览这些页面，并检查它们是否在线并作出响应。我考虑过使用WebDriverWait(browser, 5).until(EC.presence_of_element_located((By.ID, 'some_common_id')))来检查我是否到达了实际页面')))搜索一个特定的元素，你在Google离线时(在他们的</em

浏览 1提问于2018-08-27得票数 2

回答已采纳

2回答

如何使用jquery和selenium访问“影子-根”中的“chrome://downloads”下的元素？

javascript、jquery、html、node.js、selenium

我正试图在selenium javascript应用程序中获取上一次下载文件的名称。我的selenium驱动程序使用：driver.get('chrome://downloads');导航到chrome下载页面，但是当我到达该页面时，selenium无法在下载页面中找到任何元素。chrome下载页面“chrome:// s

浏览 5提问于2017-06-06得票数 4

回答已采纳

3回答

有没有一种方法可以使用python中的selenium来抓取位于地址栏中的页面url (或其中的一部分)？

python、selenium、web-scraping、imdb

我正在处理一个巨大的电影数据集，我试图从IMDb网站上获取每部电影的IMDB ID。我在Python中使用selenium。我检查过了，但是在电影页面中找不到IMDB代码。它包含在页面的链接中，这个链接在地址栏中，我不知道如何刮它。有什么方法可以做到吗？我需要得到网址的下划线部

浏览 10提问于2022-03-25得票数 1

回答已采纳

1回答

在Python中使用Selenium之后，从：：Get：：获取链接

python、selenium

为了提取几个链接，我试图在Python中使用Selenium来废弃一个。但是对于一些标签，我找不到链接。当我检查这些链接的元素时，它将指向::before和::after。一种方法是点击它，打开一个新窗口并从新窗口获取链接。但这一解决方案相当缓慢。有人能帮我知道如何直接从这个页面获取这些链接吗？

浏览 4提问于2022-07-13得票数 -1

2回答

登录网站，抓取流媒体数据

python、screen-scraping

我不是一个真正的程序员，但我问这个是出于一般的好奇心。我最近访问了一个网站，在那里我登录了一个页面，在没有离开的情况下，该页面上的数据在我的眼前刷新。有没有可能模仿浏览器(我使用的是Chrome)，登录到站点，导航到一个页面，然后“抓取”使用Python传入的数据？我想存储和分析它。如果是这样的话，再往前走一步，是否可以与网站进行互动？单击我知道其名称的

浏览 0提问于2011-02-15得票数 0

回答已采纳

2回答

如何使用Selenium* & python从网页中获取可见文本？*

python、selenium、selenium-webdriver

我正在尝试获取一个网页上的表格中显示的一堆数字，我使用python和Selenium在Raspberry Pi上无头运行来访问该网页。这些数字并不在页面源代码中，而是深深地嵌入到由主页调用的几个URL提供的复杂html中(数字每隔几秒钟更新一次)。如何使用python并获取Selenium w

浏览 2提问于2019-10-18得票数 0

1回答

使用selenium获取页面的某一部分

python、beautifulsoup

from selenium import webdriverfrom selenium.webdriverimport ActionChainsfrom bs4 import BeautifulSoup import requests，我可以打印页面的源代码作为结果。这样我就可以将页面的源代码打印出来。但在网页<

浏览 3提问于2020-05-30得票数 0

6回答

如何使用selenium获取链接的完整源代码

selenium、selenium-rc

我正在使用selenium RC，并希望获得所有属性和所有信息。specific-link"]')print link<a id="specific-link" name="links-name" href="url"> text </a> 这个是可能的吗

浏览 0提问于2009-09-13得票数 4

回答已采纳

1回答

如何使用python和selenium* IDE获取网页上的所有链接*

python、css、selenium

我希望使用selenium ide和python从网页中获取所有链接。 from selenium import webdriverbaseurl="https

浏览 3提问于2015-03-02得票数 1

回答已采纳

1回答

用Python和Selenium抓取大量页面(完整的网站)

python、selenium、web-scraping

我正在尝试用python和selenium删除完整的网页。我提供的网站网址(即)，然后将废弃主页，然后它将继续递归地为所有的子页面，从第一页的链接。我面临严重的性能问题，因为页面数可能超过500页，selenium将在执行过程中停止。 FYI我使用Selenium，因为我需要扫描基于JS的网页(其中的内容由Ja

浏览 10提问于2022-06-01得票数 2

2回答

我不能抓取每个链接内容的具体时间段从确实

python、selenium、selenium-webdriver、web-scraping、selenium-chromedriver

我是python和web scraping的新手。您的帮助我们将不胜感激。我在编程和练习方面是新手。我正在使用python和selenium进行web抓取。我正在试着从事实上抓取数据。目标是找到过去24小时内发布的所有工作，并刮刮外部链接，这是在工作详细信息页面上与链接文本“申请公司网站”，标题，公司，名称，位置，工作描述。我写了以下代码，但是它正确地获取了页面

浏览 33提问于2020-07-15得票数 1

回答已采纳

1回答

使用BeautifulSoup & Selenium解析HTML内容

python、selenium、beautifulsoup

from selenium import webdriverfrom bs4 import BeautifulSoupctl=10_s2015") 我正在尝试获取每个"td“、"Class":"Match Centre”的HREF，我需要<

浏览 6提问于2016-05-03得票数 1

回答已采纳

点击加载更多