Hadoop虚拟群集与单机

Question

我有一个关于在单机中使用多个虚拟化节点与在单机上使用单节点的速度和性能的问题。

哪一个会表现得更好？

我问这个问题的原因是因为我目前在一台机器上学习hadoop，我在互联网上看到了一些教程，这些教程展示了如何在一台机器上使用多个虚拟化节点。

提前谢谢你

Answer 1

虚拟化总是会带来一些开销，所以除非确实必要，否则我不建议在虚拟化环境中运行Hadoop。

尽管如此，我知道VMWare在使Hadoop在虚拟化环境中工作方面做了大量工作，他们发布了some benchmarks，声称在某些条件下与本机应用程序相比，使用虚拟机具有更好的性能。我没有太多地使用vSphere，但如果您想进一步探索虚拟化，这可能是值得关注的内容。但不要认为这些数字是理所当然的，它实际上取决于您运行的硬件类型，所以在某些情况下，我认为使用VM可能会获得一些性能，但我根据经验猜测，在大多数情况下，您不会获得任何东西。

如果您刚刚开始使用Hadoop进行测试，我认为虚拟化有点过头了。您可以很容易地在伪分布式模式下运行Hadoop，这意味着您可以在同一机器上运行多个Hadoop守护进程，每个守护进程都作为单独的进程。这就是我开始使用Hadoop的方法，这是一个很好的开始。你可以找到更多信息Hadoop (或者可能需要另一个页面，这取决于你运行的here版本)。

如果你想用一个真正的集群进行测试，但又没有资源，我建议你看看Amazon Elastic Map/Reduce:它为你提供了一个按需集群，而且非常便宜。这样你就可以做更高级的测试了。更多信息here。

底线是，我认为如果目的仅仅是测试，你并不真正需要一个虚拟集群。

Answer 2

一项关于此主题的性能分析案例研究表明，虚拟Hadoop集群的效率仅比其本机对应产品Virtualized hadoop performance case study低4%左右