使用Scrapy/Selenium填充字段并在LinkedIn高级搜索页面上搜索

Question

LinkedIn高级搜索网址：https://www.linkedin.com/vsearch/p?adv=true&trk=advsrch

我正在尝试使用Selenium (Python)填充字段并点击LinkedIn高级搜索页面上的submit按钮。

但是，当我试图将密钥发送到我想要填充的字段时(例如。)，我得到了这个错误: ElementNotVisibleException: Message: Element当前不可见，因此可能无法与之交互。我猜这与高级搜索框架的切换显示/隐藏有关。我认为高级搜索框架在默认情况下是可见的，但是Selenium驱动程序似乎不认识这一点。

如何使这些“无效”字段和提交按钮元素可见？

我试过：

• 使用等待函数在页面上放置延迟。
• 运行脚本，使div元素保存高级搜索页。 self.driver.execute_script("document.getElementById('advs').style.display='block'")
• 单击“显示/隐藏”按钮以进行高级搜索，但我不确定是否正确。 self.driver.find_element_by_id("advs-link").click()

Answer 1

如果您查看submit按钮，就会发现它是一个GET请求。因此，您也可以从输入字段和要使用参数填充URL的值进行组装。唯一棘手的值是rsid，但可以在站点中以"searchId"的形式找到它。

然后，当GET请求的URL存在时，您可以使用Scrapy作为Request调用该URL并刮取内容。