我是一个非常新的火花和有一个特定的工作流相关的问题。虽然这并不是真正的编码相关问题,但它更多地是一个与火花功能相关的问题,我认为这在这里是合适的。如果您认为这个问题不合适,请随时将我转到正确的站点。
因此,我计划使用Spark的滑动窗口功能来使用一个请求流,并计算一个推荐模型。一旦计算出模型,web服务是否可以直接从RDD查询和使用这些数据?如果是这样的话,有人能告诉我如何实现这个目标的一些示例代码吗?
任何帮助,特别是具体的代码示例/链接将不胜感激。
提前谢谢。
发布于 2015-04-05 17:50:05
您不能以这种方式直接查询RDD。把你的星火作业想象成一个流处理器。您可以做的是将更新的模型推送到某些“存储”中,例如数据库(带有自定义API或JDBC)、文件系统或memcached。您甚至可以在星火代码中进行web服务调用。
无论您做什么,都要注意处理每一批数据(包括I/O )的时间都在指定的间隔时间内。否则,您将面临可能最终崩溃的瓶颈。
另一件需要注意的事情是,在集群中有多个RDD分区中的模型数据(当然,这是默认的)。如果您的“记录”的顺序并不重要,那么并行地写出它们是可以的。如果您需要按顺序写出特定的总顺序(而且数据实际上并不大),请调用collect将它们放入驱动程序代码中的内存中的数据结构中(这意味着分布式作业中的网络流量),然后从那里编写。
https://stackoverflow.com/questions/29459659
复制相似问题