首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >云数据流/波束- PCollection查找另一个PCollection

问云数据流/波束- PCollection查找另一个PCollection
EN

Stack Overflow用户
提问于 2018-09-04 22:57:00
回答 1查看 713关注 0票数 0

a)从有界源读取,当在数据流中运行时,PCollection大小可以有多大?b)在处理大数据时,假设PCollection的约5000万个数据试图查找PCollection的约1000万个数据中的另一个PCollection。这可以做到吗?波束/数据流的表现有多好?在ParDo函数中,假设我们只能传递一个输入并返回一个输出,那么如何基于两个输入数据集执行查找呢?我正在尝试使用类似于任何其他ETL工具的数据流/波束,在这些工具中,可以通过简单的查找来创建一个新的PCollection。请提供任何代码片段,这可能会有所帮助。

我也看到了侧输入功能,但是侧输入真的能容纳这么大的数据集吗,如果这是如何完成查找的话?

EN

回答 1

Stack Overflow用户

发布于 2018-09-05 05:40:26

你绝对可以通过侧输入做到这一点,因为侧输入可能是任意大的。

在Java中,你可以这样做:

代码语言:javascript
复制
Pipeline pipeline = Pipeline.create(options);
PCollectionView<Map<...>> lookupCollection = pipeline
   .apply(new ReadMyLookupCollection())
   .apply(View.asMap());


PCollection<..> mainCollection = pipeline
    .apply(new ReadMyPCollection())
    .apply(
        ParDo.of(new JoinPCollsDoFn()).withSideInputs(lookupCollection));

class JoinPCollsDoFn<...> extends DoFn<...> {
  @ProcessElement
  public void processElement(ProcessContext c) {
    Map<...> siMap = c.sideInput(lookupCollection);
    String lookupKey = c.element().lookupKey;
    AugmentedElement result = c.element().mergeWith(siMap.get(lookupKey))
    c.output(result);
  }
}

FWIW,这是一个伪代码,但它是你想要做的事情的一个片段。如果你想得到进一步的澄清,请告诉我。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52169089

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档