首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache将文件从HDFS读取为流

问Apache将文件从HDFS读取为流
EN

Stack Overflow用户
提问于 2017-01-28 10:48:18
回答 1查看 3.2K关注 0票数 7

如何使用从hdfs读取文件作为流?我不想读取整个文件,我想拥有文件流,以便在满足某些条件时停止读取文件,我如何使用Apache?

EN

回答 1

Stack Overflow用户

发布于 2017-02-02 23:12:36

您可以使用ssc方法使用流式HDFS文件。

val =新StreamingContext(sparkConf,秒(BatchTime))

val dStream = ssc.fileStreamLongWritable, Text, TextInputFormat

使用上面的api过滤器函数过滤要处理的路径。

如果您的条件不具有文件路径/名称,并且基于数据,则如果条件满足,则需要停止流上下文。

为此,您需要使用线程实现,1)在一个线程中,您需要不断检查流上下文是否停止,如果ssc停止,则通知其他线程等待并创建新的流上下文。

2)在第二个线程中,需要检查条件,如果条件满足,则停止流上下文。

如果你需要解释的话请告诉我。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41908873

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档