首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >火花原理是“向数据发送代码”。这是什么意思?

问火花原理是“向数据发送代码”。这是什么意思?
EN

Stack Overflow用户
提问于 2017-03-15 00:54:21
回答 2查看 439关注 0票数 1

火花原理是“向数据发送代码”。这是什么意思?为什么这比星火中的“发送数据到代码”更好、更高效?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-03-15 01:22:11

通常,Spark处理大量数据,并对其执行CPU密集型操作,例如转换或机器学习。它需要将数据保存在内存中。一台机器上的内存是有限的。因此,Spark将数据加载到多个节点中,并将算法发送到要在数据上执行的计算机。

此外,Spark还使用'n‘节点的CPU,而不仅仅是一个节点。

这样的数据我们通常被组织成密钥。我们需要计算大量客户的账户数据。这些可以在单独的节点上并行计算。所以有一个很大的性能增益。

一旦所有的计算都在节点上完成,来自每个节点的最终解决方案就可以在您的计算机上收集,或者更好的解决方案,如果是v大的话,写到NAS或HDFS上的输出文件。看见

想出个主意。

票数 2
EN

Stack Overflow用户

发布于 2017-03-15 00:58:01

如果将数据发送到代码,则边缘节点是

  1. 读取所有数据
  2. 处理/过滤所有数据
  3. 把结果写在某个地方

另一种方法是边缘节点将代码发送到数据。

  1. 将代码写入数据节点
  2. 等待数据节点执行处理/筛选
  3. 等待数据已成功写入的确认

扩展性较好的原因很简单,有的数据节点多于边缘节点和的数据局部性意味着更好的性能。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42799302

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档