如何使用从hdfs读取文件作为流?我不想读取整个文件,我想拥有文件流,以便在满足某些条件时停止读取文件,我如何使用Apache?
发布于 2017-02-02 23:12:36
您可以使用ssc方法使用流式HDFS文件。
val =新StreamingContext(sparkConf,秒(BatchTime))
val dStream = ssc.fileStreamLongWritable, Text, TextInputFormat
使用上面的api过滤器函数过滤要处理的路径。
如果您的条件不具有文件路径/名称,并且基于数据,则如果条件满足,则需要停止流上下文。
为此,您需要使用线程实现,1)在一个线程中,您需要不断检查流上下文是否停止,如果ssc停止,则通知其他线程等待并创建新的流上下文。
2)在第二个线程中,需要检查条件,如果条件满足,则停止流上下文。
如果你需要解释的话请告诉我。
https://stackoverflow.com/questions/41908873
复制相似问题