我是否可以使用s3作为Amazon环境之外的Hive存储？

Question

我有在EC2机器中管理服务的情况。这台运行Hive的机器和我计划使用s3作为我的存储单元(而不是hdfs)。有可能吗？

Answer 1

这里有一个关于如何做到这一点的详细说明，http://blog.mustardgrain.com/2010/09/30/using-hive-with-existing-files-on-s3/。

一些可供选择的比特：

现在，让我们稍微更改一下配置，以便能够使用所有数据访问S3桶。首先，我们需要包括以下配置。这可以通过HIVE_OPTS、配置文件($ Hive _HOME/conf/hive-site.xml)或Hive的SET命令来完成。 以下是配置参数： 名称 fs.s3n.awsAccessKeyId Value S3访问键 名称 fs.s3n.awsSecretAccessKey Value S3秘密访问密钥

和：

无论您喜欢单板、外观、包装还是其他什么，我们都需要告诉Hive在哪里可以找到我们的数据和文件的格式。让我们创建一个引用S3中数据的Hive表定义： 创建外部表mydata (键字符串，值INT)行格式，分隔字段以'=‘LOCATION’s3n://mys3bucket/‘结束；

Answer 2

是的，这是可能的。您需要使用AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY更新AWS_ACCESS_KEY_ID实例上的配置文件，以便运行实例的节点可以访问s3桶。