数据库光子与催化剂优化器

Question

我读到了德尔塔发动机的新的数据库特性，它是由光子驱动的。从我的理解，通过阅读，我有一种感觉，它类似于催化剂优化器。光子会取代催化剂吗。

光子发动机与催化剂优化器有何不同？

链接如下所示

https://databricks.com/blog/2020/06/24/introducing-delta-engine.html

Answer 1

我认为你把两件事混为一谈：

• 催化剂优化器将提出“执行查询的步骤”。例如，优化器将决定如何以及何时执行连接、聚合、筛选等操作。在技术术语中，这也被称为“物理计划”。(催化剂优化器更多用于逻辑规划，但这是一个更详细的细节)
• 执行引擎实际上是执行优化器决定的步骤的引擎。它并不是事后猜测步骤，而是确保尽可能高效地执行这些步骤。

Delta引擎(或光子)是一个执行引擎，而不是优化器。它更直接地与Tungsten (整个阶段代码生成)执行引擎相比，该引擎目前可在开放源码星火库中使用。钨和德尔塔引擎都是执行引擎。

Answer 2

催化剂优化器仅适用于Spark。催化剂正在使用您为spark编写的代码，例如DataFrame操作、筛选等。光子是增量存储查询引擎，适用于数据库中的新的分析特性。它被链接到增量存储引擎。本质上，它们是略有不同的工具，每个工具专门用于优化不同的查询。它们都是火花兼容的，但是光子是与δ相连的，所以保持它们的分离是有意义的，因为并不是每个人都在使用。