什么是最好的和最节省成本的方法,使从消防水管到s3的事件去重复?
我的场景:我有多个源,它将它们的事件以JSON的形式写入到一个动态消防软管流中。流将事件写入s3桶。而不应该和雅典娜一起分析这些事件。
所以,因为消防水管不能保证没有重复,所以我不得不以某种方式去复制数据。我还得把它们分给雅典娜。
到目前为止,我想出的方法是:
有没有更好、更优雅、更节省成本的方法?
发布于 2018-05-30 12:09:11
首先,我认为您应该考虑清除副本的价值,而不是Firehose实际交付副本的频率。我认为这是非常罕见的,你结束的副本,因为火软管本身,但如果你有生产者,也可能会发送副本到您的消防软管,你可能仍然想处理它,当然。
您应该使用的方法取决于您的用例,如果您提供了有关它的更多细节,给您一个更明确的答案可能会更容易。
如果您没有很多数据,您可以在读取端支付代价,而不是处理例如重写数据。SELECT DISTINCT * FROM table应该删除重复的行。如果您的查询包含聚合,则如果您有一个应该是唯一的列,则可以执行SELECT column, COUNT(*) FROM (SELECT DISTINCT * FROM table) - or,这是SELECT foo, MIN(bar), MIN(baz) GROUP BY 1的一些变体。由于雅典娜对扫描数据收费,而不计算资源,这将不需要额外的费用,但当然会慢一些。
如果您有大量数据,我不会推荐该解决方案,而且在这种情况下,我认为无论如何您需要在管道中增加一个步骤,因为您也不应该按原样查询Firehose生成的数据。您需要创建一个分区表,并将每小时、每一天或每个月添加为它自己的分区(具体取决于我们正在讨论的数据数量)。您可以在不移动数据的情况下做到这一点,但是由于您无论如何必须有一个额外的步骤,所以如果您确实考虑使用Glue ETL,那么您也可以将去重叠放在- and中,这对您来说可能比EMR更少开销。
https://stackoverflow.com/questions/50470958
复制相似问题