如何结合使用unicode和enlive进行web抓取

Question

我正在尝试抓取一些需要unicode支持的网站。例如，我试图获取这本书的标题，但它返回的是乱码：

(-> "http://www.brill.nl/publications/evliya-celebis-book-travels" 
      java.net.URL. enlive/html-resource
 (enlive/select [:h1#page-title]) first :content)

尝试抓取一个阿拉伯语站点的结果是？到处都是。

(enlive/html-resource (java.net.URL. "http://www.aljazeera.net/portal"))

我不确定我应该如何激活unicode支持。

Answer 1

Enlive支持unicode，因为它使用Java字符串。我在我的电脑上运行了你的第一个例子，得到了这个结果：

(Evliyā Çelebi's Book of Travels)

也许你正在使用的字体没有你想要显示的点代码的字形？

Answer 2

enlive的作者克里斯托夫·格兰德( Christophe Grand )对reply on the Enlive email group来说已经足够了。他的建议很有见地。我已经复制了下面的电子邮件：

你好，

Enlive不是(也不包括)功能齐全的HTTP代理。当您将java.net.URL传递给html资源时，它将在其上调用.getContent，获取一个InputStream，然后假定为UTF-8。但是，如果您知道实际的编码，则可以执行以下操作：

(-> "http://www.brill.nl/publications/evliya-celebis-book-travels" java.net.URL.
  .getContent (java.io.InputStreamReader. "ENCODING GOES HERE")
enlive/html-resource
 (en/select [:h1#page-title]) first :content)

或使用代理库，它将检测正确的编码，并将生成的阅读器传递给html-resource。

hth，

Christophe