如何传递-属性-文件火花-提交在库博尔？

Question

我通过在AWS中创建集群来使用Qubole中的Spark。在Qubole Workbench中，当我执行以下命令行时，它工作良好，命令成功

/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py

但是，当我执行相同的命令以及--properties-file选项时

/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py

它提供了以下错误信息：

Qubole > Shell命令失败，退出代码:1

当获得初始化Qubole安全提供程序所需的有效配置时发生了App >错误

App >java.lang.IllegalArgumentException线程中的异常:需求失败:属性文件S3:/bucket-name/SparkScripts/ Properties ties.file不存在

有人能帮我解决这个问题吗？我需要一些应用程序属性存储在亚马逊S3上的一个单独的文件中，然后传递给-属性-文件到我的spark程序中。

Answer 1

@saravanan目前无法从S3路径指定--属性文件。它将在第59版中提供。