我对大数据技术很陌生,我正在努力学习。我遵循了在Amazon-EC2上安装Spark的指令,我完成了它,但是其中一个步骤让我感到困惑,我找不到任何可靠的理由来“安装Git”步骤。
星火是否需要Git来安装,如果是的话,用于什么?吉特的任务是什么?如果没有,是否有任何理由将其放在安装指南中?
提前谢谢。
发布于 2018-05-18 16:48:12
简短的回答:不,你不需要Git来安装Apache。
更长的答案:有一些方法,已经为您自动安装。
如果您想学习Apache,那么在AWS上开始玩星火的最好方法是数据库社区版。或者只是普通的Databricks管理星团。他们让相对较小的费用来减轻运营负担。
另一种方法是使用亚马逊弹性MapReduce和在用户界面中勾选必要的框预先安装的Spark/Zeppelin (或者只是您的CloudFormation或Terraform脚本)。
不过,如果您已经在您的盒子上安装了python/java (如本教程所述),那么Spark实际上可以对非常小的数据集执行在你的笔记本上运行操作。
你的里程可能会不同。
https://stackoverflow.com/questions/50409754
复制相似问题