让htmlParse和希伯来语一起工作？

Question

我希望htmlParse能够很好地与希伯来语合作，但它会一直在我输入的页面中搅乱希伯来语文本。

例如：

# why can't I parse the Hebrew correctly?
library(RCurl)
library(XML)
u = "http://humus101.com/?p=2737"
a = getURL(u) 
a # Here - the hebrew is fine.
a2 <- htmlParse(a)
a2 # Here it is a mess...

所有这些似乎都没有解决问题：

htmlParse(a, encoding = "utf-8")
htmlParse(a, encoding = "iso8859-8")

这是我的地盘：

> Sys.getlocale()
[1] "LC_COLLATE=Hebrew_Israel.1255;LC_CTYPE=Hebrew_Israel.1255;LC_MONETARY=Hebrew_Israel.1255;LC_NUMERIC=C;LC_TIME=Hebrew_Israel.1255"
> 

有什么建议吗？

Answer 1

在对getURL和htmlParse的调用中指定getURL endoding。

a <- getURL(u, .encoding = "UTF-8")
htmlParse(a, encoding = "UTF-8")

这些区域设置问题总是让人感到很痛苦。当我输入cat(a) (在getURL中指定UTF-8编码之后)，我看到he.wrodpress.org页面声称是UTF-8：<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />，但是希伯来的位是UTF-16。也就是说，他们看起来像<U+05D3><U+05E6><U+05DE><U+05D1><U+05E8>。因此，这可能是一个问题，由混合编码的网页。

比较几个编码，唯一一个没有在我的机器上产生胡言乱语的是UTF-8。

(trees <- lapply(c("UTF-8", "UTF-16", "latin1"), function(enc)
{
  a <- getURL(u, .opts = proxy_opts, .encoding = enc)
  htmlParse(a, encoding = enc)
}))

如果它走投无路，请传递iconvlist()以便在上面的代码中应用，并查看是否有任何可能的内容适合您。