Hpricot - UTF-8问题

Question

运行下面的代码时，我得到了以下错误：

invalid byte sequence in UTF-8 (ArgumentError)

代码：

require 'hpricot'
require 'open-uri'

doc = open('http://www.amazon.co.jp/') {|f| Hpricot(f.read) }
puts doc.to_html

Hpricot无法解析日语内容。对解决这个问题有什么建议吗？

Answer 1

该网站似乎没有使用UTF-8：<meta http-equiv="content-type" content="text/html; charset=Shift_JIS" />。

试着这样做：

open('http://www.amazon.co.jp/') {|f| Hpricot(f.read.encode("UTF-8")) }