如何解决java.lang.OutOfMemoryError:在星火中训练word2vec模型时的word2vec堆空间？

Question

索鲁:我把帕拉姆驱动器-内存40G的火花-提交。

问题:我的星盘集群由5个ubuntu服务器组成，每个服务器都有80G内存和24个内核。word2vec大约是10G新闻数据。我以这样的独立模式提交工作：

提交--名称为trainNewsdata -类Word2Vec.trainNewsData -主火花://主火花:7077-执行程序-内存70G -总计-执行程序-核心sogou.jar hdfs://Word2Vec.trainNewsData:9000/user/bd/newsdata/*Word2Vec.trainNewsData

当我在spark中训练word2vec模型时，我遇到了线程“java.lang.OutOfMemoryError”中的异常:Java堆空间，我不知道如何解决它，请帮助我：)

Answer 1

我把并行驱动器-内存40G在火花提交，然后解决它。