美国国会图书馆与Twitter的“Twitter保存项目”通过总部位于科罗拉多州博尔德市的社交媒体聚合网站Gnip落地,Gnip发现要做好这件看似简单的“信息存储”的事并不容易。 首先,数据高速膨胀。 项目启动三年后,2013年Gnip终于实现了对1700亿条推文的存储,当时已需要每天存储用户创造的4亿条内容,这对存储空间的消耗十分惊人。 Gnip直言,这一项目真正的挑战来自高峰时期对tweets 的收集,比如2011年3月日本海啸期等事件的爆发,当时,每秒钟产生的tweet信息数量有好几千。 再次,数据利用问题。
一些类别如数据库(不管是NoSQL还是NewSQL)和社交媒体数据分析正趋于成熟,且开始出现并购或者淘汰出局(Twitter对BlueFin和GNIP的收购可能意味着在社交媒体数据分析领域这种趋势早已经开始了 Lucky Sort、Rapleaf、Nodeable、Karmasphere等 ),还有一些的结局稍好(例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP
例如一些创业项目类别,例如数据库(无论是NoSQL还是NewSQL),或者社交媒体分析,目前正面临整合或去泡沫化(随着Twitter收购BlueFin和GNIP,社交分析领域的整合已经开始)虽然大数据创业市场已经人山人海 但我们依然处于市场的早期阶段,虽然过去几年类似Drawn和Scale这样的公司失败了,但是相当多的公司已经看到了胜利的曙光,例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP
例如一些创业项目类别,例如数据库(无论是NoSQL还是NewSQL),或者社交媒体分析,目前正面临整合或去泡沫化(随着Twitter收购BlueFin和GNIP,社交分析领域的整合已经开始) 虽然大数据创业市场已经人山人海 但我们依然处于市场的早期阶段,虽然过去几年类似Drawn和Scale这样的公司失败了,但是相当多的公司已经看到了胜利的曙光,例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP
有一些方面会受到变化的影响: · 开放REST和流式APIs; · 广告API; · Gnip数据产品; · 显示产品,如嵌入到推特的Fabric的推特工具,和在
两人都在2014年加入Twitter,因为Twitter在那年收购了Gnip,一家社交媒体API聚合公司。
失意的Twitter在2014年5月以1.34亿美元收购数据分析公司Gnip。财报显示,广告业务虽然仍是Twitter目前主要的收入来源,但数据授权和其它业务的营收占比正在增长。
参考知识: 消息队列基础知识,还请参考笔者的另外两篇文章: https://mp.weixin.qq.com/s/uFL6a52FwAAneSJ4GniP5Q https://mp.weixin.qq.com
关于社交媒体信息的量化应用,在股票投资之外的领域也很常见:Twitter自己也十分注重信息的开发挖掘,它与DataSift和Gnip两家公司达成了一项出售数据访问权限的协议,销售人们的想法、情绪和沟通数据
yqrjjCcUVqd56GBRLS127K7ZYjJeIGRLWEvLQa4I/TsuPjmCYZvn3RXXg4RUhk4iYGMRCkD4Oh40mOGvUF/J46Y6G8Ejb937ZxzAKwsTwRPs68GByjFThtEMIxGD5R84fCnYlBV35gNiP5NSmEokH