在BigQuery中消除重复数据

Question

我有一个只显示非重复值的查询，我正在寻找如何在其他查询中使用此重复数据的解决方案。

我没有创建任何内容的权限，所以我需要找到一个解决方案。

伊丹

编辑(来自“答案”)：

以下是我的表“Purchases”中的字段: user_id purchase_amount purchase_sku source device_type uuid -每行的唯一标识符

当除uuid之外的所有字段都相同时，将考虑复制。我需要返回经过重复数据消除的数据，并准备将其用于其他查询。

这是基本数据，在第5-6行和第7-8行中有重复的值

我希望显示为非重复的行，并且在复制的行上只显示一行，如下所示：

经过重复数据消除的数据

Answer 1

考虑下面的通用解决方案-您根本不需要登记所有列名-在查询中只使用uuid )

select any_value(t).*
from `project.dataset.table` t
group by to_json_string((select as struct * except(uuid) from unnest([t])))

Answer 2

您可以在row_number()中使用qualify

select p.*
from purchases p
where 1=1
qualify row_number() over (partition by user_id, purchase_amount, purchase_sku, source, device_type order by uuid) = 1;

您还可以使用聚合：

select purchase_amount, purchase_sku, source, device_type,
       min(uuid) as uuid
from purchases
group by 1, 2, 3, 4;