在Amazon EMR上安装Impala 2.3

Question

我发现只有Cloudera CDH 5.5及更高版本才支持Impala 2.3。Impala2.2可以安装在Amazon EMR上，因为GitHub上有Bootstrap脚本&您不需要安装Cloudera.

但是，我没有看到任何在Amazon EMR上安装Cloudera CDH 5.5或5.6的方法。我想安装Impala 2.3，那么有什么方法可以在Amazon EMR上安装Impala 2.3吗？

Answer 1

好吧，我之前的回答已经被删除了，只要“没有提供问题的答案”。我不会争论这个问题是有一个部分不正确的答案更好，还是没有基础的断然声明是一个好答案:/。

无论如何，我都不会放弃:)

是的，在纸上安装“”是可能的。

启动EMR集群后，所有实例都将出现在您的EC2控制台上。唯一的问题是，您必须小心地将通过SSH访问的正确权限分配给您的实例。我的建议是创建一个有访问权限的特定安全组，并使用集群的高级配置将这个额外的安全组分配给实例。通过正确的配置，您可以通过ssh进入任何实例并安装任何内容(如果您具有正确的VPC配置，您应该能够scp任何文件或从internet下载)。请注意，用户将是"hadoop“而不是"ec2-root”，但这在EMR用户指南中有说明。

请记住，集群是“终止的”，因此，EMR实例是易失性的，安装不会在集群终止后继续运行。

另一方面，使用EMR AMI的最新版本和AWS的最新功能(我认为它一直都是这样的，但是，现在已经不重要了)，您应该能够在引导程序上创建一些操作，并安装任何您想要的东西。

使用集群的“高级配置”，可以访问要在集群上执行的"Bootstrap“操作。您甚至可以根据节点类型(master、core、task)执行不同的操作。您应该将脚本(和/或jar文件)存储在S3存储桶中，并使该存储桶可用于您的集群。在论文中，您可以在组成EMR集群的这些EC2实例上安装Impala，但我不确定这是否可以工作。

有关更多信息，请阅读http://docs.aws.amazon.com//emr/latest/ManagementGuide/emr-plan-bootstrap.html

对于以前版本的EMR AMI和不是最新版本的Impala，您可以阅读https://github.com/awslabs/emr-bootstrap-actions/tree/master/impala

谢谢Mark，你迫使我更好地阐述我的评论。

Answer 2

不，不可能在电子病历上“安装”任何东西，因为它是亚马逊网络服务提供的PaaS。但是，如果您的目标是在AWS上运行较新版本的Impala，那么有一个用于安装CDH 5.x (包括Impala)的AWS快速入门路径，可以使该过程相对简单。

http://aws.amazon.com/quickstart/