Twitter Scalding中的SQL Union等效项

Question

我需要连接两个有相同字段集的管道，也就是('id，'groupName，'name)，就像SQL UNION的工作方式一样。

Answer 1

使用++连接管道，然后使用project删除id字段。

如果这个答案太简洁，请让我知道，我会尝试扩展。

Answer 2

要在三组字段上连接两个管道，您首先需要知道哪个管道在较小的数据集上操作：

  largerPipe1.joinWithSmaller(('id1, 'groupName1, 'name1) -> ('id2, 'groupName2, 'name2), smallerPipe2)

请注意，字段名不需要相同。你只需要让它们按相同的顺序排列。结果将只包含largerPipe1中的符号名称。

注意下面的注释：++连接操作只是将数据从一个管道追加到另一个管道。这不是联接。

Answer 3

def ++U >: T：TypedPipeU

合并两个TypedPipes (不保证顺序)只有在执行组(或join)时才能实现。