首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >可以从spark.local.dir中读取RDD吗?如果不可以,那么有哪些其他可能的方法来持久化并读取这些RDD?

问可以从spark.local.dir中读取RDD吗?如果不可以,那么有哪些其他可能的方法来持久化并读取这些RDD?
EN

Stack Overflow用户
提问于 2015-06-16 17:03:22
回答 1查看 100关注 0票数 0

我正在从一个流中读取数据,然后处理该数据。我有多个项目读取相同的流,然后使用它。所以,我不想一次又一次地读取相同的流,而是想创建一个从流中读取然后持久化RDD的项目,然后在所有其他项目中,我只需要从那些持久化的RDD中读取数据。

是否有可能从spark.local.dir中读取RDD,如果是,那么如何读取,如果不是,那么有哪些其他可能的方法来持久化,然后读取这些RDD?

我也在考虑持久化textFiles,但不知道如何持久化对象,以及如何处理大量的文件。如果有办法为这些生成的文件设置TTL,请分享。

EN

回答 1

Stack Overflow用户

发布于 2015-06-17 11:39:45

将其持久化到Tachyon。http://tachyon-project.org。使用saveAsObjectFile("tachyon://tachyon-master:19998/some/path"),或者如果它是一个数据框,那么你可以使用parquet格式而不是目标文件。

清除旧文件则是另一回事。也许一份cron工作就足够了?

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30863130

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档