如何在火花壳内设置aws访问密钥和aws密钥

Question

您能告诉我设置aws访问密钥和aws秘密密钥的最佳方法吗？我试着用

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", MY_ACCESS_KEY)
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", MY_SECRET_KEY)

并得到了

java.lang.IllegalArgumentException:必须将AWS访问密钥ID和秘密访问密钥指定为s3n URL的用户名或密码，或者设置fs.s3n.awsAccessKeyId或fs.s3n.awsSecretAccessKey属性(分别)。

我可以通过把它作为url的一部分来工作。

s3n://MY_ACCESS_KEY:MY_SECRET_KEY@BUCKET_NAME/KEYNAME

在用%2F替换我的秘密密钥中的斜杠之后，但是想知道在url中嵌入我的访问密钥和秘密密钥是否有其他选择。

Answer 1

您可以使用hadoopRDD函数并直接使用所需的属性指定JobConf对象。

Answer 2

除了Holden的回答外，还有一个更具体的例子：

val jobConf = new JobConf(sparkContext.hadoopConfiguration)
    jobConf.set("fs.s3n.awsAccessKeyId", MY_ACCESS_KEY)
    jobConf.set("fs.s3n.awsSecretAccessKey", MY_SECRET_KEY)

val rdd = sparkContext.hadoopFile(jobConf, ...)