HDInsight Hadoop集群和HDInsight星系团有什么区别？

Question

HDInsight Hadoop集群和HDInsight星系团有什么区别？我已经看到，即使在Hadoop集群中，也可以使用吡火花。是否与集群类型有关？也就是说，Hadoop集群意味着纱线作为集群管理层，而火花意味着火花独立(或Mesos?)作为集群管理层？

如果是这样，我们仍然可以运行星火在Hadoop集群，我相信，所以星火将运行在纱线之上。

Answer 1

HDInsight火花使用纱线作为集群管理层，就像Hadoop一样。集群上的二进制文件是相同的。

HDInsight星系团和Hadoop集群的区别如下：

1)优化配置:对火花集群进行优化并配置为火花工作负载。例如，我们有预先配置的火花集群使用SSD并根据机器资源调整执行器内存大小，因此客户将有更好的开箱即用体验，而不是火花默认配置。

2)服务设置: Spark集群还运行与Spark相关的服务，包括Livy、Jupyter和星火服务器。

3)工作负载质量:在每次发布之前，我们在星火集群上测试火花工作负载，以确保服务质量。