GCP Hadoop数据仓库？

Question

我知道Google BigQuery是一个数据仓库，但是Dataproc、Big Table、Pub/Sub被认为是数据仓库吗？这会使Hadoop成为一个数据仓库吗？

Answer 1

“数据仓库”主要是一个信息系统概念，它描述了一个集中和可信的数据来源(例如，公司/业务)。

维基百科："DWs是一个或多个不同来源的集成数据的中心存储库，它们将当前和历史数据存储在一个地方，用于为整个企业的员工创建分析报告。“

关于你的问题，一个简单的答案是：

• Google BigQuery是一个查询执行(和/或数据处理)引擎，您可以在不同类型的数据存储上使用它。
• Google BigTable是一种数据库服务，可用于实现数据仓库或任何其他数据存储。
• Google是一种数据处理服务，由常用的Hadoop处理组件组成，如DataProc (如果您认为它是Hadoop的一部分，也可以使用MapReduce )。
• Hadoop是一个由不同组件组成的数据存储和处理的框架/平台(例如通过HDFS存储数据，通过MapReduce进行数据处理)。您可以使用Hadoop平台构建数据仓库，例如使用MapReduce处理数据并将其加载到将存储在HDFS中并可由Hive查询的ORC文件中。但是，只有当它是“关于数据真相的集中的单一版本”时，才能称它为数据仓库;)

Answer 2

• Dataproc可以作为一个数据湖工作，因为它是一个Hadoop集群，但是它可以被认为是一个数据仓库，因为一些工具可以参考它的信息。
• BigTable存储的数据高达千兆字节，但是，它是为需要很高的吞吐量和可伸缩性的应用程序而设计的。尽管如此，由于它具有很高的存储容量和流处理/分析能力，所以它也可以被视为一个数据仓库。
• 它不是一个数据仓库，因为它是一个发布-订阅服务。