在Hadoop集群上安装RHadoop

Question

我正在我的Hadoop集群上安装RHadoop。在安装一些必需的软件包时，我面临以下错误：

> install.packages("Megh/rmr2_3.3.1.tar.gz")
Installing package into ‘/usr/lib64/R/library’
(as ‘lib’ is unspecified)
inferring 'repos = NULL' from 'pkgs'
Error in rawToChar(block[seq_len(ns)]) :
  embedded nul in string: 'rmr2/man/fromdfstodfs.Rd\0\0\0\0erties\n i-_". '
Warning message:
In install.packages("Megh/rmr2_3.3.1.tar.gz") :
  installation of package ‘Megh/rmr2_3.3.1.tar.gz’ had non-zero exit status
>

> install.packages("Megh/plyrmr_0.6.0.tar.gz")
Installing package into ‘/usr/lib64/R/library’
(as ‘lib’ is unspecified)
inferring 'repos = NULL' from 'pkgs'
Warning in untar2(tarfile, files, list, exdir, restore_times) :
  checksum error for entry 'plyrmr/man/as.data.framed'
Warning in readBin(con, "raw", n = 512L) :
  invalid or incomplete compressed data
Error in untar2(tarfile, files, list, exdir, restore_times) :
  incomplete block on file
Warning message:
In install.packages("Megh/plyrmr_0.6.0.tar.gz") :
  installation of package ‘Megh/plyrmr_0.6.0.tar.gz’ had non-zero exit status

我还在集群上安装了RHive。我能够通过RHive执行相对较小的查询，但较大的查询失败：

> rhive.query("SELECT COUNT(*) FROM tradehistory")
Error: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
> rhive.query("SELECT tradeno FROM tradehistory LIMIT 10")
    tradeno
1  34232193
2  34232198
3  34232199
4  34232200
5  34232201
6  34232202
7  34232203
8  34232204
9  34232205
10 34232206

如果有人知道，请帮我解决这个问题！提前谢谢！

Answer 1

对于我所面临的安装错误，我发现这是tar文件的一个问题。

我使用Windows下载了该tar文件，并使用WinSCP将其传输到我的集群。

对于传输zip/归档类型的文件，理想情况下应该使用二进制传输，否则有些tar文件的字节可能会丢失。

这反过来又会导致错误。

对于Tez，如果需要执行一个必须调用多个MapReduce任务的查询，则在没有适当授权的情况下不能执行该查询。

因此，当我尝试相同的rhive查询并提供用户名和密码时，我能够达到预期的结果。