Akka流-基于谓词拆分传入源数据

Question

我是Akka Streams框架的新手，我想知道用Akka流的目标来解决我的问题的可能性。想象一下这里有一个问题：

1. 几个大型迭代源，例如具有可能相同数据的3-4个大文件；
2. 每个文件都需要处理:解析、转换、计算平均值；
3. 文件中的数据应该由某个谓词进行分区，然后通过分区进行处理。分区谓词可以是动态的，从run到run；
4. 每个分区都应该保存到另一个文件或流中，或者这样。

有可能用Akka流来解决吗？

Answer 1

你考虑过使用分区吗？

Answer 2

就像维克多说的，分治会为你这样做的。我在Akka单元测试中找到了一个例子：

 val (s1, s2, s3) = RunnableGraph.fromGraph(GraphDSL.create(Sink.seq[Int], Sink.seq[Int], Sink.seq[Int])(Tuple3.apply) { implicit b ⇒ (sink1, sink2, sink3) ⇒
        val partition = b.add(Partition[Int](3, {
          case g if (g > 3)  ⇒ 0
          case l if (l < 3)  ⇒ 1
          case e if (e == 3) ⇒ 2
        }))
        Source(List(1, 2, 3, 4, 5)) ~> partition.in
        partition.out(0) ~> sink1.in
        partition.out(1) ~> sink2.in
        partition.out(2) ~> sink3.in
        ClosedShape
      }).run()