Spark :从单个DStream中获取多个DStream

Question

在spark中，可以从单个DStream中获得多个DStream。我的用例如下:我从HDFS文件中获取日志数据流。日志行包含一个id (id=xyz)。我需要根据id以不同的方式处理日志行。所以我试着对输入数据流中的每个id使用不同的数据流。我在文档中找不到任何相关的东西。有没有人知道如何在Spark中实现这一点，或者指向任何链接。

谢谢

Answer 1

您不能从单个DStreams拆分多个DStreams。你能做的最好的是：-

1. 修改您的源系统以使不同的ID具有不同的流，然后您可以使用不同的作业来处理不同的流
2. 以防您的源无法更改并为您提供混合ID的流，则您需要编写自定义逻辑来标识ID，然后执行相应的操作。

我总是更喜欢#1，因为它是更干净的解决方案，但也有一些例外，需要实现#2。