首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将火花数据加载到Mongo / Memcached中,供for服务使用

问将火花数据加载到Mongo / Memcached中,供for服务使用
EN

Stack Overflow用户
提问于 2015-04-05 16:44:54
回答 1查看 807关注 0票数 2

我是一个非常新的火花和有一个特定的工作流相关的问题。虽然这并不是真正的编码相关问题,但它更多地是一个与火花功能相关的问题,我认为这在这里是合适的。如果您认为这个问题不合适,请随时将我转到正确的站点。

因此,我计划使用Spark的滑动窗口功能来使用一个请求流,并计算一个推荐模型。一旦计算出模型,web服务是否可以直接从RDD查询和使用这些数据?如果是这样的话,有人能告诉我如何实现这个目标的一些示例代码吗?

  1. 如果不是,我想将数据存储在memcached中,因为我存储的数据目前并不太大,主要是为了内存中的迭代计算和流支持目的,所以我可以将RDD数据加载到memcached中吗?我之所以问这个问题,是因为我只能为Spark找到一个Mongo连接器,却找不到Memcached连接器。

任何帮助,特别是具体的代码示例/链接将不胜感激。

提前谢谢。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-04-05 17:50:05

您不能以这种方式直接查询RDD。把你的星火作业想象成一个流处理器。您可以做的是将更新的模型推送到某些“存储”中,例如数据库(带有自定义API或JDBC)、文件系统或memcached。您甚至可以在星火代码中进行web服务调用。

无论您做什么,都要注意处理每一批数据(包括I/O )的时间都在指定的间隔时间内。否则,您将面临可能最终崩溃的瓶颈。

另一件需要注意的事情是,在集群中有多个RDD分区中的模型数据(当然,这是默认的)。如果您的“记录”的顺序并不重要,那么并行地写出它们是可以的。如果您需要按顺序写出特定的总顺序(而且数据实际上并不大),请调用collect将它们放入驱动程序代码中的内存中的数据结构中(这意味着分布式作业中的网络流量),然后从那里编写。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/29459659

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档