在R中设置cookies/使用rvest/httr提交表单:为web抓取homedepot.com设置本地存储时出现问题

Question

我正在设置一个R脚本来从homedepot.com中抓取数据。一切都很顺利，除了我想要刮掉产品的库存水平，这需要设置本地商店。我已经尝试了几种使用rvest的方法，但都没有成功。如何在homedepot.com上设置本地商店？我发现这些相关的问题并没有让我找到解决方案：(R language ) How to make a click on webpage using rvest or rcurl

Submit form with no submit button in rvest

How to properly set cookies to get URL content using httr

更多信息：-门店位置代码似乎存储在名为THD-LOC-STORE的cookie中，具有4位数的门店ID。我设置此cookie失败：

library("rvest")
library("httr")
# try to set cookie in site with store ID:
session <- html_session("http://www.homedepot.com", set_cookies('THD-LOC-STORE'='2679'))
# if this worked, it would show the store name instead of "Select a Store":
storefinder <- session %>% read_html() %>% html_nodes(".headerStoreFinder") %>% html_text() %>% gsub("\\t","",.)
storefinder
cookies(session)

我也考虑过在rvest中使用submit_form()，但选择商店的按钮是由javascript运行的，没有提交按钮可供选择。

Answer 1

关于你可能的选择“我也考虑过在rvest中使用submit_form()，但选择商店的按钮是由javascript运行的，没有提交按钮可供选择”，我发布了一个问题"Submit form with no submit button in rvest“的答案，它可能会为你提供这个解决方案。

简而言之，您可以将提交按钮插入到您的代码版本中，然后提交该按钮。如何做到这一点的详细信息在链接的帖子中。