码头容器中的Hadoop更快/值得吗？

Question

我有一个基于Hadoop的环境。在这个系统中，我使用了Flume、Hue和Cassandra。现在围绕着Docker有一个很大的炒作，所以我们想看看在这种情况下，对接化的利弊是什么。我认为它应该更便携，但它可以使用Cloudera Manager设置，只需点击几下。也许更快，或者为什么值得这么做？什么是优势？也许应该只对多节点Cassandra集群进行文档化？

Answer 1

也许更快，或者为什么值得这么做？

听起来你已经有了Hadoop集群。所以你必须问问自己，复制这个环境需要多长时间？你需要多久复制一次这个环境？

如果您不需要一种重复再现环境并包含可能与主机上其他应用程序冲突的依赖关系的方法，那么我还没有为您找到一个用例。

什么是优势？

如果在需要混合Java版本的环境中运行Hadoop，那么将其作为容器运行可以将依赖项(在本例中为Java)与主机系统隔离开来。在某些情况下，它将使您更容易复制工件移动和设置。但是Java应用程序已经非常简单了，它们的所有依赖项都包含在JAR中。

也许应该只有多个节点的卡桑德拉集群被篡改？

我不认为这真的取决于is是否是一个多节点环境。这归结为它解决的问题。在部署或复制Hadoop环境(目前为止)方面，听起来似乎没有任何痛苦，所以我不认为有必要“篡改”某些东西，因为它是块上最热门的新东西。

当您确实需要轻松地再现Hadoop环境时，您可以查看Docker的一些编排和管理工具(Kubernetes、Rancher等)。这使得在覆盖网络上部署和管理应用程序集群比普通的Docker更有吸引力。码头在我眼里只是个工具。当您可以利用其他软件包正在此基础上构建的一些整洁的覆盖、多主机网络、发现和编排时，它真的开始发光了。