首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Twitter API vs Web抓取?

问Twitter API vs Web抓取?
EN

Stack Overflow用户
提问于 2012-11-08 07:57:06
回答 2查看 2.3K关注 0票数 0

首先,我想获得我twitter账户的所有追随者。我做了一点研究,发现我们可以用Ruby on rails做web抓取,使用: Nokogiri或Mechanize gem。我还得到了一个css选择器,用于web抓取。现在,如果我查找HTML页面源代码,它不会显示该帐户的所有追随者。

我真的可以使用web抓取代码来获取我所有的twitter追随者,还是应该使用Twitter API?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-11-08 08:09:23

总而言之,只要有可能,绝对要使用API。

顾名思义,“抓取”仅仅是在处理应用程序的“表面”,用MVC的术语来说就是它的(HTML)视图。这些观点随时可能改变--想一想Twitter和其他类似服务经历了多少次网站重新设计。如果你正在抓取,那么每一个网站的重新设计,即使是很小的一个,都很可能会破坏你现有的代码,迫使你(没有警告)基于猜测进行疯狂的更新。

Nokogiri和Mechanize是强大的工具,但它们永远无法与API的功能、稳定性和一致性相提并论,API直接访问数据库内容,完全绕过了不断变化的“表面”。在Twitter的情况下,您还可以使用API包装器,例如用于访问API的Twitter gem,它为API添加了一个用户友好层,使其更容易集成到您的应用程序中。

所以总结一下:使用API,可能要通过API包装器,比如Twitter gem。

票数 6
EN

Stack Overflow用户

发布于 2012-11-08 08:02:49

当服务不提供API或API不能充分提供所需的所有功能时,Web抓取通常是最后的手段。

我会先看看API。这就是它设计的目的。

Web抓取可能是有问题的,因为网站的结构可能会发生巨大的变化,使您的代码无法正常运行。

通常,公共API往往有某种约定,即所提供的数据不会有显著的变化。如果有更改,API将提供API的版本控制(调用API的旧版本的能力)或文档,这些文档提供有关更改内容和更改发生时间的信息。

此外,web抓取还有其他成本,如额外的带宽。在应用程序中,从API获得的数据通常更有用。

还有相当多的库(ruby Gem)可以提供访问所需API所需的大量基本功能。当API更新时,它们通常也会更新。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/13280350

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档