回答情况：
提问时间：
问题标签：
它们之间的区别是什么和它们都会做同样的工作，只是我们对它们的叫法略有不同。它们都不会覆盖目标中已存在的文件。
浏览 0修改于2011-01-06得票数 7
回答已采纳
我有一个oozie工作流程，它正在执行distcp操作。工作流文件如下：<start to="distcp-node"/> <distcp xmlns="uri:oozie:<e
浏览 1提问于2016-09-23得票数 0
回答已采纳
我正在尝试使用distcp在两个hadoop集群之间移动数据。有大量的小文件需要移动大量的数据。当我在谷歌上搜索它时，我找到了这个链接：在这个链接中，作者要求提供一个我们可以增加distcp.dynamic.max.chunks.tolerable来解决问题的功能。所以我相信我应该有可能增加distcp.dynamic.max.chunks.tolerable的价值。另外，如果有大量的小文件，这种方法能很好地工作吗？还有没有其他参数可
浏览 67提问于2019-08-16得票数 3
我正在尝试在两个启用kerberos的Hadoop集群之间执行hadoop Distcp (版本- Hadoop 2.0.0-cdh4.3.0) at org.apache.hadoop.tools.DistCp.copy(DistCp.java:666)
at org.apache.hadoop.tools.DistCp.run(ToolRunn
浏览 1提问于2014-01-22得票数 2
5/01/05 18:15:47 ERROR tools.DistCp: Exception encountered at org.apache.hadoop.tools.DistCp.createInputFileListing(DistCp.j
浏览 1提问于2015-01-05得票数 1
distcp hdfs和hftp有什么不同，为什么distcp hdfs是有效的？我们正在两个不同版本集群之间复制HFDS文件。
浏览 2修改于2013-08-08得票数 1
2回答
我正在考虑两种选择： distcp_arglist =['/usr/lib/hadoop/bin/hadoop','distcp',..., src_path, dest_path]
二.使用s3-distcp --这似乎涉及得更多一些
浏览 8提问于2018-01-16得票数 1
我正在尝试从一个系统到另一个具有相同配置(比如A到B)的系统执行distcp。但是在从A到B的distcp之后，我在A中创建的分区没有显示在B中。我必须在B中手动创建分区。
浏览 1提问于2015-06-11得票数 4
如何在Java中导入distcp包？我尝试了"org.apache.hadoop" % "hadoop-distcp" % "2.7.1"依赖并使用了import语句，如下所示谢谢
浏览 1修改于2016-07-04得票数 0
我看了的文档-上面写着，
“在复制操作期间，S3DistCp将临时复制集群上HDFS中的输出。在HDFS中必须有足够的空闲空间来生成数据，否则复制操作就会失败。此外，如果S3DistCp失败，它不会清理临时HDFS目录，因此必须手动清除临时文件。例如，如果您将500 GB的数据从HDFS复制到S3，S3DistCp将整个500 GB的数据复制到HDFS的临时目录中，然后将数据从临时目录上传到S3”。有没有人知道普通的Hadoop DistCp是否具有将文件暂存在临时文件夹中的相同行为？
浏览 1修改于2015-02-09得票数 1
<action name="copy_mta_c"> <arg>${NAME_NODE}${PATH_COMVERSE}${CURRENT_DATE_NO_DASH}_*/*mta.gz</arg> <&
浏览 2提问于2017-06-12得票数 0
回答已采纳
如何列出活动的DISTCP作业？我想要不断地运行它，但是需要确保现有的distcp任务已经完成。
我在源集群和目标集群中都尝试了以下操作，但是我看不到复制操作。
浏览 3修改于2017-08-02得票数 0
回答已采纳
我想通过hftp协议使用distcp从cdh3和cdh4复制文件。该命令类似于：hadoop distcp hftp://cluster1:50070/folder1 hdfs://cluster2/folder2INFO org.apache.hadoop.tools.DistCp: FAIL test1.dat : java.io.IOException: HTTP_OK expected$Cop
浏览 6修改于2017-05-23得票数 1
我需要在aws s3和本地hdfs之间复制文件，我尝试使用distcp java api，但它的问题是在System.exit()的末尾，它也停止了我的应用程序，所以如果我有多个文件夹/文件要复制，并且我使用了多个线程，每个线程执行一个distcp命令，完成distcp的第一个线程将停止应用程序，从而停止distcp的其余部分，有没有其他方法可以避免这种情况，我知道我可以编写自己的MR作业来执行复制，但想知道是否有其他选择(args); <-- Distcp command
浏览 7提问于2013-09-06得票数 1
我正在尝试使用distcp命令将数据从一个cdh(CDH4.7.1)集群移动到另一个cdh(cdh5.4.1)集群，如下所示：at org.apache.hadoop.tools.DistCp$CopyFilesMapper.copy(DistCp.java:463)
at org.apache.hadoop.tools.DistCp</e
浏览 6修改于2016-02-23得票数 0
1回答
我试图使用distcp command.following将数据从一个hdfs集群复制到另一个hdfs集群，这是我提交的命令。at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1418) at org.apache.hadoop.tools.DistCp.run(DistCp.java
浏览 1提问于2019-02-27得票数 0
然而，由于某些原因，我无法让hadoop distcp接受我的亚马逊S3凭据。我使用的命令是： hadoop distcp -update s3a://[bucket]/[folder]/[filename] hdfs:///some/path/ -D fs.s3a.awsAccessKeyIdERROR tools.DistCp: Exception encountered
java.io.InterruptedIOException: doesBu
浏览 236提问于2017-11-23得票数 5
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号