如果我们在表中一个接一个地插入数据,如果我们加载整个文件,雪花的微分区是如何工作的?在使用插入逐个加载数据的情况下,与从文件加载数据相比,微分区的数量是否会增加?
发布于 2020-12-28 00:51:03
不知道这个问题的目的是什么,但显然批量加载文件要比单独插入记录要好得多,这不仅是因为您的问题,也是因为实际的加载性能。
至于你的问题,Snowflake将确定如果它有一个单记录微分区,而你正在插入1个额外的记录,它将创建一个新的2记录微分区(假设它们不是非常大的记录)。因此,活动表本身不会有更多的微分区,但是作为时间旅行和故障保护的一部分,您仍然会有那个单记录的微分区。所以,如果你一次只做一条记录,一遍又一遍,你会有很多额外的微分区需要支付。
在Snowflake中,单记录插入并不是一个好主意。有必要研究批量加载它们的方法。
https://stackoverflow.com/questions/65467762
复制相似问题