问S3A客户端和本地S3模拟
EN

Stack Overflow用户

提问于 2018-10-04 22:41:59

回答 1查看 552关注 0票数 0

为了创建数据工作流的端到端本地测试，我使用了“模拟S3”容器(例如adobe/S3Mock)。似乎工作得很好。但是，系统的某些部分依赖于S3A客户端。据我所知，它的格式不允许指向特定的名称服务器或端点。

有没有可能让S3A在本地环境下工作？

发布于 2018-10-06 05:22:17

你说的是ASF Hadoop S3A连接器？没有人对AWS进行过测试(以前从未见过！)，但它确实适用于非S3端点

将fs.s3a.endpoint设置为S3连接的URL。还有一些关于从https切换到http (fs.s3a.connection.ssl.enabled = false)和从虚拟主机移动到目录(fs.s3a.path.style.access = true)的设置，这也是需要的。

问S3A客户端和本地S3模拟EN