训练大数据时引擎挂起

Question

当训练400000条记录(大约200MB)时，我遇到了als，类似的产品模板的问题。它在第13阶段停止：===================== 0+1/2

有人能帮我吗？

Answer 1

当您启动以下命令时，您正在使用mini Spark服务器：

pio train

这台迷你服务器的资源有限。你需要启动你自己的Spark集群。它可以与您的PredictionIO服务器在同一台计算机上启动。您需要使用以下命令启动Spark standalone：

./PredictionIO/vendors/spark-1.5.1/sbin/start-master.sh --webui-port 8180
./PredictionIO/vendors/spark-1.5.1/sbin/start-slave.sh spark://localhost:7077 --webui-port 8181

然后，您可以通过以下命令使用该Spark实例进行训练：

pio train -- --master spark://localhost:7077 --driver-memory 4G --executor-memory 8G

如果无法访问spark://localhost:7077，您可以打开端口为8180的Webui，以查看主页的URL (页面的第一行)。使用该URL连接您的从站和您的列车。