我正在从一个流中读取数据,然后处理该数据。我有多个项目读取相同的流,然后使用它。所以,我不想一次又一次地读取相同的流,而是想创建一个从流中读取然后持久化RDD的项目,然后在所有其他项目中,我只需要从那些持久化的RDD中读取数据。
是否有可能从spark.local.dir中读取RDD,如果是,那么如何读取,如果不是,那么有哪些其他可能的方法来持久化,然后读取这些RDD?
我也在考虑持久化textFiles,但不知道如何持久化对象,以及如何处理大量的文件。如果有办法为这些生成的文件设置TTL,请分享。
发布于 2015-06-17 11:39:45
将其持久化到Tachyon。http://tachyon-project.org。使用saveAsObjectFile("tachyon://tachyon-master:19998/some/path"),或者如果它是一个数据框,那么你可以使用parquet格式而不是目标文件。
清除旧文件则是另一回事。也许一份cron工作就足够了?
https://stackoverflow.com/questions/30863130
复制相似问题