我更想了解Snowflake将数据存储到微分区的过程。据我所知,snowflake每个分区的大小是50-500MB。
假设我有一个大小为1 1GB的文件,我想将这些数据加载到snowflake中。有人能给我解释一下雪花将数据存储到微粒子中的内部过程/步骤吗?
发布于 2020-01-27 17:34:35
Snowflake的微分区文件格式是专有的,所以你不会得到比文档中已经有的更多的信息(除了有人违反了Snowflake的雇佣合同)。
发布于 2020-01-31 00:41:37
为了优化加载的并行操作数量,Snowflake建议压缩大小约为10 MB到100 MB的文件。将大文件拆分为更多数量的小文件可以在活动仓库中的服务器之间分配负载,并提高性能。
https://stackoverflow.com/questions/59925763
复制相似问题