用纱线运行分布式xgboost的问题

Question

我正在体验一些关于纱上xgboost分布式模式的教程中的一些问题。

我听从了他们的指示，但有一些问题我无法解决。

我正在使用Hadoop2.6.0运行两个EC2实例(这似乎是正确配置的)。

当我使用以下命令运行他们的演示时：

cd xgboost/demo/distributed-training
# Use dmlc-submit to submit the job.
../../dmlc-core/tracker/dmlc-submit --cluster=yarn --num-workers=2 --worker-cores=2\
../../xgboost mushroom.aws.conf nthread=2\
data=s3://${BUCKET}/xgb-demo/train\
eval[test]=s3://${BUCKET}/xgb-demo/test\
model_dir=s3://${BUCKET}/xgb-demo/model

我从Hadoop容器中得到以下错误：

Traceback (most recent call last):
 File "./launcher.py", line 82, in <module>
 main()
 File "./launcher.py", line 77, in main
 ret = subprocess.call(args=sys.argv[1:], env=env)
 File "/usr/lib/python2.7/subprocess.py", line 523, in call
 return Popen(*popenargs, **kwargs).wait()
 File "/usr/lib/python2.7/subprocess.py", line 711, in __init__
  errread, errwrite)
 File "/usr/lib/python2.7/subprocess.py", line 1343, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or directory

显然，subprocess函数似乎无法找到其中的一些文件。所以我试着看看蟒蛇想要叫什么。subrpocess的两个参数是：

['../../xgboost', './mushroom.aws.conf', 'nthread=1', 'data=s3://awstest.xgboost/xgb-demo/train', 'eval[test]=s3://awstest.xgboost/xgb-demo/test', 'model_dir=s3://awstest.xgboost/xgb-demo/model']

还有环境字典。环境字典调用${PYTHONPATH}变量，但是它似乎是空的，或者至少当我从终端回显它是空的。

你知道出了什么问题吗？

谢谢。

Answer 1

我在代码中看到的主要问题是，您使用的是相对路径。dmlc-submit命令不会在它将要使用的每个节点中设置当前目录。这导致python子进程告诉您，它找不到../.../xgboost二进制文件，因为路径不一样。

我用绝对的方法来解决这个问题。

Answer 2

问题中的问题是由xgboost的失败构建引起的。

之后，我开始出现以下错误

what(): [19:15:47] src/io/s3_filesys.cc:779: Check failed: curl_easy_perform(curl) == CURLE_OK Aborted (core dumped)

最后一个错误来自于S3桶没有有效的SSL证书，所以我修改了s3_filesys.cc源代码，用http替换了所有的https。