KiteSdk 1.1.0CSV-导入IOError

Question

使用HDP-2.5在Ubuntu-14.04上运行以下命令

$ ./kite-dataset csv-import ./test.csv  test_schema

尝试使用import raw csv ver.1-1-0将数据放入蜂巢，并具有以下IOError

发生1次作业失败: Kite(dataset:file:/tmp/444e6fc4-10e2-407d-afaf-723c408a6d...：org.kitesdk.tools.CopyTaskfile:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz (1/1)(1)：org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624) at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850) at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614)不存在文件java.io.FileNotFoundException在org.apache.hadoop.fs.DelegateToFileSystem.getFileStatus(DelegateToFileSystem.java:125) at org.apache.hadoop.fs.AbstractFileSystem.resolvePath(AbstractFileSystem.java:468) at org.apache.hadoop.fs.FilterFs.resolvePath(FilterFs.java:158) at org.apache.hadoop.fs.FileContext$25.next(FileContext.java:2195) at org.apache.hadoop.fs.FileContext$25.next(FileContext.java:2191)在org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90) at org.apache.hadoop.fs.FileContext.resolve(FileContext.java:2191) at org.apache.hadoop.fs.FileContext.resolvePath(FileContext.java:603) at org.apache.hadoop.mapreduce.JobSubmitter.addMRFrameworkToDistributedCache(JobSubmitter.java:457) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:142)在org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method)在javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724) at org.apache.hadooporg.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchControlledJob.submit(CrunchControlledJob.java:329)，org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.startReadyJobs(CrunchJobControl.java:204)，org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.pollJobStatusAndStartNewOnes(CrunchJobControl.java:238)，org.apache.crunch.impl.mr.exec，.mapreduce.Job.submit(Job.java:1287)org.apache.crunch.impl.mr.exec.MRExecutor.access$000(MRExecutor.java:55) at org.apache.crunch.impl.mr.exec.MRExecutor$1.run(MRExecutor.java:83) at java.lang.Thread.run(Thread.java:745)的.MRExecutor.monitorLoop(MRExecutor.java:112)

我已经检查了"hdfs:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz"存在的文件，并且很长一段时间都找不出如何解决这个错误。

任何帮助都是非常感谢的。

Answer 1

我也遇到了同样的错误，我通过创建/hdp/app/2.5.0.0-1245/mapreduce来解决它，然后: cp /usr/hdp/current/hadoop-client/mapreduce.tar.gz /hdp/app/2.5.0.0-1245/mapreduce

这就创建了一个新的错误:org.kitesdk.tools.CopyTask：：org.kitesdk.tools.CopyTaskhdfs://sandbox.hortonworks.com:8020/tmp/crunch-283520469/p1/REDUCE : ID=1 (1/1)(1)：java.io.FileNotFoundException: java.io.FileNotFoundException: File不存在

我还在努力解决这个问题。

Answer 2

我认为您正在使用KiteSDK1.1.0版本，因此会遇到此错误。我在做csv导入时也遇到了类似的错误。当我切换到KiteSDK1.0.0版本时，没有这样的错误。

我建议您切换到Kite 1.0.0版本。

此外，在1.1.0版本之后，还没有Kite SDK的新版本，甚至这个版本也是在2015年6月发布的。