问使用机械化和Ruby抓取动态页面
EN

Stack Overflow用户

提问于 2015-11-25 02:33:13

回答 1查看 491关注 0票数 0

我正在尝试通过机械化加载以下页面：

http://www.amazon.com/dp/B014R6MVH2

Product Description div (div id="productDescription)似乎是javascript驱动的部分，因此无法机械化。

对此有什么解决方案吗？也许是一个gem，我可以用它来执行javascript并查看部分？

另一种选择是使用无头浏览器。我尝试过selenium，但它比机械化慢得多。

screen-scraping

mechanize

ruby

回答 1

Stack Overflow用户

发布于 2015-11-25 07:33:45

它对我来说很有效：

agent = Mechanize.new
page = agent.get 'http://www.amazon.com/dp/B014R6MVH2'
page.at('#productDescription .content').text
#=> Description  This item is a simple and useful wedding banner....

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/33901238

复制

相似问题

问使用机械化和Ruby抓取动态页面
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用机械化和Ruby抓取动态页面EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用机械化和Ruby抓取动态页面
EN