什么是数据虚拟化？

Question

我刚刚被问到我们的公司是否应该考虑在我们的测试环境中使用Data Virtualization。所提供的福利如下：

• 敏感数据的筛选
• 在我们的测试环境中快速刷新数据
• DR和BI方案的潜在好处

然而，我只找到了营销信息，没有技术上的信息。据我所知，有两种方法：

• 生产数据库上的服务层，它将您从数据模型中抽象出来(可能会产生一个由该新层提供的不同的数据模型)。
• 一种自动化数据恢复和后续操作的工具，可供非技术用户使用，比使用数据库备份和SQL脚本更快。

在没有看到任何技术信息的情况下，我闻到了蛇油的味道，但我想了解它，而不是手下留情。

关键词：数据即服务 数据虚拟化 意指

Answer 1

数据虚拟化是抽象层的提供，因此数据使用者不必知道原始数据的物理位置或格式。您可能有一个PostGres数据库、一个MySQL数据库、一个Server、一整批Parquet/ORC文件，而编写查询的人完全不知道这种物理性。就他们而言，他们正在连接Presto (或者您选择使用的任何数据虚拟化解决方案)。

Apache等技术允许运行SQL查询的中心点，但Presto本身被配置为知道源数据的位置和内容，最终用户不需要知道。Presto是一个开放源代码的工具，它已经有了来自Teradata的大量输入，特别是在JDBC连接、安全性和LDAP身份验证方面。它还得到了StarBurst的商业支持。Starburst最近宣布了一个基于成本的Presto查询优化器。

AWS对Presto有信心，因为他们把AWS雅典娜建立在它的基础上。它的优点是数据不必驻留在关系数据库中。它也可以基于文件。

在筛选敏感数据方面，您可以选择谁可以访问什么，但它不是数据掩蔽或混淆工具。

这不是蛇油，但也不是银弹。显然，源系统受到了攻击，您必须了解该攻击是什么。关键的好处是，您不必将数据转移到各地，并且拥有大量的技术来支持数据移动。