高性能的屏幕抓取与Ruby on Rails！

Question

我需要获取很多数据，而性能是一个基本要求。你有什么意见建议？

提前感谢！

Answer 1

我一直在使用mechanize gem (http://mechanize.rubyforge.org/mechanize/)，效果很好。性能总是一个问题，因为HTTP响应时间可能会有所不同，但是机械化本身并不慢。

我希望通过在检索顺序不重要的情况下添加并发性来获得最佳性能。这可能需要相当多的调整来隔离接收缓冲区，以便一个线程的缓冲区不会被来自另一个线程的响应破坏。

祝你好运。