使用hadoop执行复杂查询

Question

我们有1TB大小的mysql数据库。如果我们执行任何带有多个连接的复杂查询，那么系统将花费大量时间来执行。有人建议，bigdata Hadoop可以解决这个性能问题。您能解释一下如何使用Hadoop集群来实现这一点吗?我需要使用哪些概念，即Apache Hadoop、Sqoop、Spark、Hive？

Answer 1

同意@nagendra，您可以尝试使用Apache HAWQ，它是Pivotal HD (即HDB)的HAWQ的开源版本。它符合SQL标准，具有很高的性能，特别是对于复杂的查询。原因是它利用了RDBMS的MPP处理，以及成熟的查询优化器ORCA和规划器。

以下是指向Apache HAWQ和ORCA的链接：http://hawq.incubator.apache.org https://github.com/greenplum-db/gporca

Answer 2

Hadoop和Hive可以解决您的问题。由于Hadoop可以处理大型数据，而配置单元可以使用类似sql的语言(称为配置单元查询语言( Hive QL) )查询大型数据集，因此也可以使用配置单元链接：here来执行连接等复杂查询。

Answer 3

对于hadoop上的sql，您可以考虑以下解决方案。

apache :用于apache的开源分析数据库：提供了一种机制，可以将结构投影到数据上，并使用一种名为HiveQL的类SQL语言查询数据。启用带有tez或spark的hive可以为Pivotal HDFS带来更好的performance.

• HAWQ : HAWQ是一个专有组件，用于在HDFS中执行查询。因此，它是一个仅用于Pivotal的产品，尽管Pivotal因其并行SQL处理和对SQL标准的高度遵从性而备受推崇。