apache-beam/google-云数据流中的排序和限制

Question

让我们假设我有以下格式的PCollection：

-----------------------------------------
|   sale_id |   product_id  |   amount  |
|-----------|---------------|-----------|
|     1     |       a       |     1     |
|-----------|---------------|-----------|
|     2     |       b       |     12    |
|-----------|---------------|-----------|
|     3     |       c       |     3     |
|-----------|---------------|-----------|
|     4     |       d       |     100   |
|-----------|---------------|-----------|
|     5     |       e       |     4     |
-----------------------------------------

我的目标是只过滤X的畅销书记录，即按数量排序，限制X

在apache beam中是如何做到的呢？

谢谢!

Answer 1

更新：

如果您想尝试的话，BeamSQL2支持“按限制订购”。

如果您使用的是Java，则可以使用内置的顶级transform1按限制进行排序。顶变换允许DESC和ASC。

如果您使用的是没有TOP的SDK，则始终可以参考TOP的实现来编写您自己的SDK。

1:https://github.com/apache/beam/blob/master/sdks/java/core/src/main/java/org/apache/beam/sdk/transforms/Top.java

2.https://beam.apache.org/documentation/dsls/sql/overview/