调用Databricks (Delta) Optimize和Vacuum是否有意义?这似乎是有道理的,但我不想仅仅推断该做什么。我想问问。
Optimize
Vacuum
真空
递归地清除与Delta表关联的目录,并删除不再处于表事务日志最新状态且超过保留阈值的数据文件。文件根据从Delta的事务日志+保留时间中逻辑删除的时间而被删除,而不是它们在存储系统上的修改时间戳。默认阈值为7天。
优化
优化了三角洲湖泊数据的布局。可选地优化数据子集或按列排列数据。如果不指定共址,则执行装箱优化。
第二个问题:如果答案是肯定的,哪一个是最佳的操作顺序?
发布于 2021-11-02 08:46:18
是的,您至少需要运行这两个命令来清理通过优化进行优化的文件。对于默认设置,订单应该无关紧要,因为它只会在7天后删除文件。秩序将只有当你运行真空保持0秒,但它不推荐无论如何,因为它将删除整个历史。
https://stackoverflow.com/questions/69803503
相似问题