hadoop无法访问s3

Question

我有一个关于hadoop access s3 on aws的问题。

<property>
<name>fs.default.name</name>
<value>s3n://testhadoophiveserver</value>
</property>

<property>

<name>fs.s3n.awsAccessKeyId</name>
<value>I have fill it</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>I have fill it</value>
</property>

所以当我运行start-all.sh时，.I得到了一个错误代码。如下所示：

hadoopmaster: Exception in thread "main" java.net.UnknownHostException: unknown host: testhadoophiveserver
hadoopmaster:   at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)

hadoopmaster:   at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)

adoopmaster:    at org.apache.hadoop.ipc.Client.call(Client.java:720)

hadoopmaster:   at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

hadoopmaster:   at $Proxy4.getProtocolVersion(Unknown Source)

hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:346)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:383)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:314)

但是，如果我使用HDFS，这是可以的。现在，我不能使用S3文件系统。有谁能帮帮我呢？

Answer 1

我认为你不应该运行“start-all.sh”。“start-all.sh”脚本包含启动HDFS和MapReduce的代码。如果您已配置使用S3作为底层存储层，则不需要启动HDFS。start-all.sh调用start-dfs.sh，因此它将执行代码来启动您没有配置的HDFS。