SPARK中的RDD联合

Question

这里我从kinesis读取数据，并将其存储在流rdd中。

在我处理该流rdd之前，我想要从kinesis读取的另一组数据，并与前一个rdd合并。

像这样，我想做4-5次rdd的联合，然后我想进一步处理它。

下面是我的代码

JavaReceiverInputDStream<byte[]> stream = KinesisUtils.createStream(sc, "speng-batch-ss", "SparkStreaming",
    "https://kinesis.us-west-2.amazonaws.com", "us-west-2",
    InitialPositionInStream.TRIM_HORIZON, Durations.seconds(batchIntervalSeconds),
    StorageLevel.MEMORY_AND_DISK_2(), ak, sk);

Answer 1

听起来你想要stream.Window(duration * 4/5)