首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从消防喉中脱模的最佳方法

问从消防喉中脱模的最佳方法
EN

Stack Overflow用户
提问于 2018-05-22 15:04:31
回答 1查看 2.1K关注 0票数 2

什么是最好的和最节省成本的方法,使从消防水管到s3的事件去重复?

我的场景:我有多个源,它将它们的事件以JSON的形式写入到一个动态消防软管流中。流将事件写入s3桶。而不应该和雅典娜一起分析这些事件。

所以,因为消防水管不能保证没有重复,所以我不得不以某种方式去复制数据。我还得把它们分给雅典娜。

到目前为止,我想出的方法是:

  • 使用EMR集群(例如,每天)来进行还原和分区。但是,这是成本密集型的,而且跑得比一天更频繁,也不划算。
  • 使用计划好的lambda函数,该函数会重复一个流动时间窗口。和另一个lambda,它对数据进行分区。费用:我不知道,因为以前从来没有用过灯笼。

有没有更好、更优雅、更节省成本的方法?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-05-30 12:09:11

首先,我认为您应该考虑清除副本的价值,而不是Firehose实际交付副本的频率。我认为这是非常罕见的,你结束的副本,因为火软管本身,但如果你有生产者,也可能会发送副本到您的消防软管,你可能仍然想处理它,当然。

您应该使用的方法取决于您的用例,如果您提供了有关它的更多细节,给您一个更明确的答案可能会更容易。

如果您没有很多数据,您可以在读取端支付代价,而不是处理例如重写数据。SELECT DISTINCT * FROM table应该删除重复的行。如果您的查询包含聚合,则如果您有一个应该是唯一的列,则可以执行SELECT column, COUNT(*) FROM (SELECT DISTINCT * FROM table) - or,这是SELECT foo, MIN(bar), MIN(baz) GROUP BY 1的一些变体。由于雅典娜对扫描数据收费,而不计算资源,这将不需要额外的费用,但当然会慢一些。

如果您有大量数据,我不会推荐该解决方案,而且在这种情况下,我认为无论如何您需要在管道中增加一个步骤,因为您也不应该按原样查询Firehose生成的数据。您需要创建一个分区表,并将每小时、每一天或每个月添加为它自己的分区(具体取决于我们正在讨论的数据数量)。您可以在不移动数据的情况下做到这一点,但是由于您无论如何必须有一个额外的步骤,所以如果您确实考虑使用Glue ETL,那么您也可以将去重叠放在- and中,这对您来说可能比EMR更少开销。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50470958

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档