Tableau，Hadoop和Birt

Question

我试图将数据从SQL迁移到Hadoop。我已经通过配置Hive、HBase和Hadoop成功地做到了这一点。

我的问题是，我在SQL中使用了Birt & Tableau，并且能够在5-10分钟内加载1000万个数据，但是新配置的Hadoop、Hive & HBase系统需要大约50分钟才能获取1000万条条目。我怎样才能提高这种表现呢？

由于Hadoop是专门为处理大量数据而开发的，为什么我不能这样做呢？

有什么特殊的性能配置吗？

Answer 1

经过大量的研究，为了回答这个问题，我也经历了HDP。然后，我遇到了一个场景，我们无法比较SQL和Hadoop的性能，因为两者都用于不同的目的。

此外，Hadoop只有在数据超过了几个TB的限制之后，即SQL数据库失败的情况下，才能显示其性能。因此，如果首先检查应用程序是否适用，情况会更好。如果有性能要求，选择Hadoop不是一个好的选择；选择SQL数据库。但是，如果Application是这样的，那么它将拥有大量的数据&我们必须对SQL DB失败的如此巨大的数据进行分析；在这种情况下，Hadoop是普遍存在的。