如何选择Python中任何网站的所有XPATH

Question

我想刮从任何网站的产品清单。有些网站，比如亚马逊，阿里巴巴的页面上有最多10个产品，有些网站有20个，我不想在每个网站的XPATH中添加循环。

是否有一种方法可以获取所有XPATH与任何网站的特定属性相关的内容？例如，如果我们有一个XPATH of表，那么它将显示该表的所有XPATH。任何帮助都将不胜感激..。

Answer 1

下面是我将使用的HTML示例

XPath的< ul>标记：

• /html/body/div 4/div/aside1 1/div 2/div 2/div/ul

< XPaths of < li>标记：

1. /html/body/div4/div/aside1/div2/div2/div/ul/li1
2. /html/body/div4/div/aside1/div2/div2/div/ul/li2
3. /html/body/div4/div/aside1/div2/div2/div/ul/li3
4. /html/body/div4/div/aside1/div2/div2/div/ul/li4
5. /html/body/div4/div/aside1/div2/div2/div/ul/li5

您可以做的是制作一个更通用的XPath，它将获取您想要的所有XPaths。

因此，假设您想要找到列表中的所有元素：

• /html/body/div4/div/aside1/div2/div2/div/ul/li

注意，在这个XPath的末尾没有#，所以它会找到包含那个xpath的所有元素

一个例子：

from selenium import webdriver

url = 'https://www.livesoccertv.com/'

driver = webdriver.Firefox()
driver.get(url)

test = driver.find_elements_by_xpath('/html/body/div/div[5]/div[3]/div/table[2]/tbody/tr')
print(len(test))
driver.close()

这将返回35的结果。