使用R-selenium从aspx网页抓取数据

Question

我对r和selenium还是个新手，所以希望我能清楚地表达我的问题。我想从一个网站(.aspx)上抓取一些数据，我需要键入一些化学代码，以便能够在下一页中提取一些信息(使用R-selenium输入并单击element)。到目前为止，我已经能够构建一个简短的代码，可以帮助我完成第一步，即拉出我想要的正确页面。但是我很难找到一个好的方法来从这个网站上抓取数据(表中的化学信息)。主要是因为网站不会分配一个新的html地址，而不是给我任何化学品搜索相同的aspx地址。我计划克服这一点，然后构建一个循环，这样我就可以自动收集更多的信息。有没有人有什么好的想法，在点击元素之后，我应该如何获取数据？我需要第二页的化学信息表。提前谢谢你！

在这里，我放入了我到目前为止编写的代码:下一步我需要将表格从下一页中剔除出来！

library("RSelenium")
checkForServer()
startServer()
mybrowser <- remoteDriver()
mybrowser$open()
mybrowser$navigate("http://limitvalue.ifa.dguv.de/")
mybrowser$findElement(using = 'css selector', "#Tbox_cas")
wxbox <- mybrowser$findElement(using = 'css selector', "#Tbox_cas")
wxbox$sendKeysToElement(list("64-19-7"))
wxbutton <- mybrowser$findElement(using = 'css selector', "#Butsearch")
wxbutton$clickElement()

Answer 1

首先，你的工具选择是错误的。

其次，在您的情况下

1. POST to "permanent“url
2. 302重定向至新的url，在本例中为http://limitvalue.ifa.dguv.de/WebForm_ueliste2.aspx
3. GET

第三，你追求的最终产出是什么？

这真的取决于你要处理多少数据。否则，请执行手动任务。