如何在hadoop配置中正确设置s3a配置？

Question

我会遇到一些奇怪的错误，例如-无法获得aws凭据或无法从.

有没有任何方法显式地在hadoop配置中设置s3a凭据？

Answer 1

由于s3a是相对较新的实现(并且从Hadoop2.7中正确工作)，您需要在hadoop配置中设置两个属性-

    conf.set("fs.s3a.access.key", access_key);
    conf.set("fs.s3a.secret.key", secret_key);
    conf.set("fs.s3a.awsAccessKeyId", access_key);
    conf.set("fs.s3a.awsSecretAccessKey", secret_key);

(conf是hadoop配置)

原因是命名约定在不同版本之间发生了变化，并且在安全方面同时设置了这两个版本。