如何获取html的下载链接没有明确真实链接的标签？

Question

我遇到了一个网页，上面有很多下载标志，比如

​

​

如果我点击这些下载标志，浏览器将开始下载一个zip文件。

然而，这些下载标志似乎只是图像，没有明确的下载链接可以复制。

我研究了html的源码。我计算出每个下载标志都属于一个tr标签块，如下所示。

<tr>
    <td title="aaa">
        <span class="centerFile">
            <img src="/images/downloadCenter/pic.png" />
        </span>aaa
    </td>
    <td>2021-09-10 13:42</td>
    <td>bbb</td>
    <td><a id="4099823" data='{"clazzId":37675171,"libraryId":"98689831","relationId":1280730}' recordid="4099823" target="_blank" class="download_ic checkSafe" style="line-height:54px;"><img src="/images/down.png" /></a></td>
</tr>

单击此链接将下载带有下载链接的zip文件

​

​

所以我的问题是如何获得这些下载标志的下载链接，而不是在浏览器中实际点击它们。特别是，我想知道如何通过分析源html来使用python完成此操作，这样我就可以进行批量下载了？

Answer 1

如果您想批量下载这些文件，但无法通过分析html和javascript找到链接(因为创建此链接的可能是javascript函数，或者是对后端的javascript调用)，那么您可以使用selenium来模拟您充当用户。

您需要执行类似以下代码的操作，其中我使用来自您所呈现的html的类名，我认为这是对javascript下载函数的调用：

from selenium import webdriver
 
driver = webdriver.Chrome()
 
# URL of website
url = "https://www.yourwebsitelinkhere.com/"
driver.get(url)

# use class name to find anchor link
download_links = driver.find_elements_by_css_selector(".download_ic.checkSafe")
for link in download_links:
    link.click()

stackoverflow如何工作的示例(在撰写本答案的当天)

driver = webdriver.Chrome()
driver.get("https://stackoverflow.com")
elements = driver.find_elements_by_css_selector('.-marketing-link.js-gps-track')
elements[0].click()

这应该会把你带到stackoverflow关于站点。

编辑答案已编辑，因为selenium似乎不支持复合类，因此添加了stackoverflow示例