如何通过S3接入点在spark中读写数据

Question

我正在尝试使用S3访问点在S3存储桶中存储数据。如果我可以直接访问存储桶，我已经尝试了保存：

someDF.write.format("csv").option("header","true").mode("Overwrite")
    .save("arn:aws:s3:us-east-1:000000000000:accesspoint/access-point/prefix/")

这将返回错误

IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: "arn:aws:s3:us-east-1:000000000000:accesspoint/access-point/prefix/"

我还没有找到任何关于如何做到这一点的文档。不支持接入点吗？有没有办法将接入点设置为自定义数据源？

谢谢

Answer 1

问题是您提供的是arn而不是s3 URL。URL应该是这样的(假设accesspoint是存储桶名称)：

s3://accesspoint/access-point/prefix/

如果您在对象或前缀中，则在亚马逊网络服务控制台中有一个按钮，右上角为Copy S3 URL