我们在AWS上使用雪花,每天都有一些“日常工作”来重建我们的数据。有些工作需要~2+小时才能建在大型雪花仓库上。关于每个本文件的价格,我可以说在中型仓库上计算2小时=在大型仓库上计算1小时。我们是否应该考虑在X-大型仓库上运行我们的东西30分钟,是否存在任何与工程/SQL相关的缺陷/问题?我们希望用更少的时间和同样的金钱来建立数据模型。提前谢谢你!https://docs.snowflake.com/en/user-guide/credits.html
发布于 2022-08-19 11:09:36
它的工作方式是:是的,成本翻倍,但计算能力加倍,导致相同的成本,因为它需要一半的时间。
这种情况并不总是适用于数据加载,因为增加仓库大小并不总是意味着更快的加载(与此相关的许多因素,文件大小等等)。
如果您的任务排序正确,并且您没有因为依赖关系而需要先完成先前的任务,那么我看不出为什么您不应该这样做。
至少,您应该测试一次每天的运行。
https://stackoverflow.com/questions/73415545
复制相似问题