Ruby机械化--如何在机械化分析站点响应之前解析它？

Question

问题：

当解析一个网站时，有一些字符会使机器无法正确地解析它。

解决方案提出的

• 在机械化尝试解析之前，解析来自网站的响应以删除这些字符。
• 或者，在机械化解析完web后删除这些字符，然后进行机械化重新解析以获得链接、表单等.

问题

• 如何在网站响应被解析之前访问它？
• 或者，我如何解析它之后，然后要求机械重新加载它？

谢谢!

Answer 1

好的，我找到了解决方案:您可以定义自己的html解析器，这样它就可以像钩子一样工作。

class MyParser
  def self.parse(thing, url = nil, encoding = nil, options = Nokogiri::XML::ParseOptions::DEFAULT_HTML, &block)
    thing = thing.gsub(/\x00/,"")
    Nokogiri::HTML::Document.parse(thing, url, encoding, options, &block)
  end
end
agent.html_parser = MyParser
search_page = agent.get "https://www.example.com"

Answer 2

如果您想自己处理解析，请不要使用机器获取html数据。使用其他gem只需获取html，然后手动解析它。如果您不使用它的解析，那么使用机械化又有什么意义呢？