在家中设置Hadoop集群(2个人计算机)

Question

嗨，我想知道是否有人推荐我的集群。它主要是为了自己的学习目的。我正在抓取新闻文章，并想尝试一些机器学习的东西，用于集群等。我的数据在1-10 GB左右。

听命于我

1. Macbook和SSD/ 8GB内存/ i5 (2核) Macbook pro with和SSD/ 8GB内存/ i5 (2核)
2. 带有ubuntu1.5TB硬盘空间/ 8GB内存/ i5 (4核)的台式PC

我现在的想法是使用我的macbook作为主节点，并通过我的桌面pc上的vm设置2-4个从节点。也许我能得到8-16的额外记忆。

我不太关心表演。

或者我应该放弃我的想法，走亚马逊的EC2路线？

提前感谢

Answer 1

如果您的数据小于10 GB，并且性能不是问题，那么您所拥有的配置应该足够好，可以运行Map /或许多机器学习程序。我在家里的笔记本电脑上设置了一个2节点集群，与您的配置不匹配(内存更少，内核也不一样)，我可以以相当快的速度运行复杂的hadoop作业。与其在亚马逊EC2上花一些钱，你还可以继续这样做。