首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在R中使用`read_html`时缺少元素

问在R中使用`read_html`时缺少元素
EN

Stack Overflow用户
提问于 2016-08-31 21:30:42
回答 1查看 1.9K关注 0票数 3

我正在尝试使用rvest包中的read_html函数,但遇到了一个我正在努力解决的问题。

例如,如果我试图读取出现在this页面上的底部表格,我将使用以下代码:

代码语言:javascript
复制
library(rvest)
html_content <- read_html("https://projects.fivethirtyeight.com/2016-election-forecast/washington/#now")

通过检查浏览器中的HTML代码,我可以看到我想要的内容包含在一个<table>标记中(具体地说,它都包含在<table class="t-calc">中)。但是当我尝试使用以下命令来提取它时:

代码语言:javascript
复制
tables <- html_nodes(html_content, xpath = '//table')

我检索以下内容:

代码语言:javascript
复制
> tables
{xml_nodeset (4)}
[1] <table class="tippingpointroi unexpanded">\n  <tbody>\n    <tr data-state="FL" class=" "> ...
[2] <table class="tippingpointroi unexpanded">\n  <tbody>\n    <tr data-state="NV" class=" "> ...
[3] <table class="scenarios">\n  <tbody/>\n  <tr data-id="1">\n    <td class="description">El ...
[4] <table class="t-desktop t-polls">\n  <thead>\n    <tr class="th-row">\n      <th class="t ...

其中包括页面上的一些表元素,但不是我感兴趣的元素。

如果您对我的错误之处有任何建议,将不胜感激!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-08-31 22:16:14

该表是从页面本身的JavaScript变量中的数据动态构建的。要么在页面呈现后使用RSelenium抓取文本并将页面传递给rvest,要么使用V8抓取所有数据的宝库

代码语言:javascript
复制
library(rvest)
library(V8)

URL <- "http://projects.fivethirtyeight.com/2016-election-forecast/washington/#now"

pg <- read_html(URL)

js <- html_nodes(pg, xpath=".//script[contains(., 'race.model')]") %>%  html_text()

ctx <- v8()
ctx$eval(JS(js))

race <- ctx$get("race", simplifyVector=FALSE)

str(race) ## output too large to paste here

如果他们曾经更改过JavaScript的格式(这是一个自动化的过程,所以不太可能,但您永远不会知道),那么如果他们不更改表结构的格式,那么RSelenium方法会更好(同样,不太可能,但您永远不会知道)。

票数 7
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39251047

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档