火花原理是“向数据发送代码”。这是什么意思?为什么这比星火中的“发送数据到代码”更好、更高效?
发布于 2017-03-15 01:22:11
通常,Spark处理大量数据,并对其执行CPU密集型操作,例如转换或机器学习。它需要将数据保存在内存中。一台机器上的内存是有限的。因此,Spark将数据加载到多个节点中,并将算法发送到要在数据上执行的计算机。
此外,Spark还使用'n‘节点的CPU,而不仅仅是一个节点。
这样的数据我们通常被组织成密钥。我们需要计算大量客户的账户数据。这些可以在单独的节点上并行计算。所以有一个很大的性能增益。
一旦所有的计算都在节点上完成,来自每个节点的最终解决方案就可以在您的计算机上收集,或者更好的解决方案,如果是v大的话,写到NAS或HDFS上的输出文件。看见

想出个主意。
发布于 2017-03-15 00:58:01
如果将数据发送到代码,则边缘节点是
另一种方法是边缘节点将代码发送到数据。
扩展性较好的原因很简单,有的数据节点多于边缘节点和的数据局部性意味着更好的性能。
https://stackoverflow.com/questions/42799302
复制相似问题