a)从有界源读取,当在数据流中运行时,PCollection大小可以有多大?b)在处理大数据时,假设PCollection的约5000万个数据试图查找PCollection的约1000万个数据中的另一个PCollection。这可以做到吗?波束/数据流的表现有多好?在ParDo函数中,假设我们只能传递一个输入并返回一个输出,那么如何基于两个输入数据集执行查找呢?我正在尝试使用类似于任何其他ETL工具的数据流/波束,在这些工具中,可以通过简单的查找来创建一个新的PCollection。请提供任何代码片段,这可能会有所帮助。
我也看到了侧输入功能,但是侧输入真的能容纳这么大的数据集吗,如果这是如何完成查找的话?
发布于 2018-09-05 05:40:26
你绝对可以通过侧输入做到这一点,因为侧输入可能是任意大的。
在Java中,你可以这样做:
Pipeline pipeline = Pipeline.create(options);
PCollectionView<Map<...>> lookupCollection = pipeline
.apply(new ReadMyLookupCollection())
.apply(View.asMap());
PCollection<..> mainCollection = pipeline
.apply(new ReadMyPCollection())
.apply(
ParDo.of(new JoinPCollsDoFn()).withSideInputs(lookupCollection));
class JoinPCollsDoFn<...> extends DoFn<...> {
@ProcessElement
public void processElement(ProcessContext c) {
Map<...> siMap = c.sideInput(lookupCollection);
String lookupKey = c.element().lookupKey;
AugmentedElement result = c.element().mergeWith(siMap.get(lookupKey))
c.output(result);
}
}FWIW,这是一个伪代码,但它是你想要做的事情的一个片段。如果你想得到进一步的澄清,请告诉我。
https://stackoverflow.com/questions/52169089
复制相似问题