文章/答案/技术大牛

发布

社区首页 >问答首页 >监控并验证较长的distcp操作

问监控并验证较长的distcp操作
EN

Stack Overflow用户

提问于 2018-10-18 00:02:24

回答 1查看 526关注 0票数 0

除了检查yarn/mapreduce日志之外，是否还有其他方法可以监视和验证大型hadoop distcp、群集到群集、hdfs拷贝作业？(数百万个大大小小的文件，预计运行时间:几天，由于虚拟化环境和群集的并行生产使用而改变了网络速度)

在HDP2.6.1上使用DistCp V2和Apache Hadoop2.7.3

发布于 2018-10-18 21:44:10

在distcp命令中使用以下参数将拷贝状态写入日志：

-log <logdir>

将日志写入DistCp会将其尝试复制的每个文件的日志保存为映射输出。如果map失败，重新执行将不会保留日志输出。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52859129

复制

相似问题

问监控并验证较长的distcp操作EN