在现代云数据仓库中，存储和计算是否解耦？

Question

红移、雪花和Azure中的

• ，我们有存储和计算解耦吗？

- If they are decoupled, is there any use of "External Tables" still or they are gone?

• --当计算和存储紧密耦合时，当我们想要扩展时，我们同时缩放计算和存储。但是在引擎盖下，它是一个虚拟机吗?我们缩放了计算磁盘和VM磁盘？你们有这方面的资料吗？

非常感谢，我现在很困惑，如果有人能跳进来解释的话，那将是一种祝福！

Answer 1

你有理由感到困惑，因为在很多地方都有一层厚重的营销应用。让我们从一些事实开始：

所有数据库都需要本地磁盘来操作。此磁盘可以存储表的永久版本(典型的本地存储表)，并且需要存储数据库要操作的本地工作数据集。即使在没有表永久存储在本地磁盘上的情况下，本地磁盘的大小也是非常重要的，因为这允许处理和缓存从远程存储中获取的日期。

永久表的远程存储有2种“风格”--定义的外部表和透明的远程表。虽然在这些类型的工作方式以及每个不同的数据库如何优化它们方面有很多不同，但它们都将表的永久版本存储在远离数据库计算系统的磁盘上。

远程永久存储有优点和缺点。“解耦”是远程永久存储最常被引用的优点。这只是意味着您不能用“冷”数据的存储来填充本地磁盘，因为在本例中，“使用中”数据只存储在本地磁盘上。为了清楚起见，即使使用远程永久存储，如果工作数据集太大，您也可以填充(或关闭)本地磁盘。远程永久存储的缺点是数据是远程的。跨网络访问某种灵活的存储解决方案意味着获取数据需要更多的时间(所有数据库系统都有自己的方法来尽可能多地隐藏这一点)。这也意味着数据的一致性控制也跨越网络(在某些方面)，并带来影响。

外部表和透明的远程表都是永久地远程存储的，但它们之间存在差异。外部表的一致性结构与完全拥有的表不同(无论是本地表还是远程表)。透明远程仅仅意味着数据库正在处理远程表，就好像它是本地拥有的。

VMs不改变本地磁盘的情况。将磁盘的数量分配给盒中的每个VM，并将本地磁盘的数量分配给每个VM。磁盘仍然是本地的，只是任何一个VM都只能寻址物理磁盘的一部分。

所以抛开事实，转而发表意见。尽管市场营销会告诉你为什么一种类型的数据库存储在任何情况下都比另一种更好，但这并不是真的。每一个都有优点和缺点，哪一个对你最好，取决于你的需求是什么。只提供一个数据组织的数据库提供程序会告诉您，这是最好的选择，对某些人来说也是如此。

对于那些访问数据的速度非常快且缓存不起作用的应用程序来说，本地表存储总是更快。然而，这意味着DBA将需要完成维护磁盘上数据的工作，并且适合于可用的本地存储(用于所需的计算大小)。这是真正的工作，需要时间和精力。移动远程所获得的好处是减少了这项工作，但代价是数据库成本、硬件成本和/或性能的某些组合。有时值得权衡，有时不值得。

Answer 2

当谈到分离(或解耦合)云计算与云存储的概念时，这些概念可能会变得有点混乱。简而言之，真正的解耦通常需要对象级存储，而不是更快的传统块存储(传统的就地存储，也称为本地存储)。造成这种情况的主要原因是对象存储是平面的，没有层次结构，因此与所添加的数据量成线性关系。因此，它最终也变得更便宜了，因为它是极其分散的，冗余的，很容易重新分配和复制的。

这一切都很重要，因为为了将存储与云中的计算或任何大型分布式计算范例分离开来，您需要在计算节点之间分割(拆分)数据(存储)。所以当你的存储线性增长的时候，对象存储是扁平的--允许在性能上不受任何损失的发生--而你可以(实际上)立即“重新掌控”你的计算节点，这样它们就可以在你的计算向上或向下平衡地分配工作负载，或者抵御网络/节点故障。