首先,我想获得我twitter账户的所有追随者。我做了一点研究,发现我们可以用Ruby on rails做web抓取,使用: Nokogiri或Mechanize gem。我还得到了一个css选择器,用于web抓取。现在,如果我查找HTML页面源代码,它不会显示该帐户的所有追随者。
我真的可以使用web抓取代码来获取我所有的twitter追随者,还是应该使用Twitter API?
发布于 2012-11-08 08:09:23
总而言之,只要有可能,绝对要使用API。
顾名思义,“抓取”仅仅是在处理应用程序的“表面”,用MVC的术语来说就是它的(HTML)视图。这些观点随时可能改变--想一想Twitter和其他类似服务经历了多少次网站重新设计。如果你正在抓取,那么每一个网站的重新设计,即使是很小的一个,都很可能会破坏你现有的代码,迫使你(没有警告)基于猜测进行疯狂的更新。
Nokogiri和Mechanize是强大的工具,但它们永远无法与API的功能、稳定性和一致性相提并论,API直接访问数据库内容,完全绕过了不断变化的“表面”。在Twitter的情况下,您还可以使用API包装器,例如用于访问API的Twitter gem,它为API添加了一个用户友好层,使其更容易集成到您的应用程序中。
所以总结一下:使用API,可能要通过API包装器,比如Twitter gem。
发布于 2012-11-08 08:02:49
当服务不提供API或API不能充分提供所需的所有功能时,Web抓取通常是最后的手段。
我会先看看API。这就是它设计的目的。
Web抓取可能是有问题的,因为网站的结构可能会发生巨大的变化,使您的代码无法正常运行。
通常,公共API往往有某种约定,即所提供的数据不会有显著的变化。如果有更改,API将提供API的版本控制(调用API的旧版本的能力)或文档,这些文档提供有关更改内容和更改发生时间的信息。
此外,web抓取还有其他成本,如额外的带宽。在应用程序中,从API获得的数据通常更有用。
还有相当多的库(ruby Gem)可以提供访问所需API所需的大量基本功能。当API更新时,它们通常也会更新。
https://stackoverflow.com/questions/13280350
复制相似问题