HDFS到HDFS完全强制移动文件

Question

据我所知，当从一个硬盘文件系统位置移动到另一个硬盘文件系统位置时，没有直接的选项来覆盖HDFS中的文件，复制cp有强制选项。我在试着找出是否有黑客可以做到这一点？

我们可以做的是hdfs dfs -cp -f /hdfs/location1 /hdfs/location2而不是hdfs dfs -mv -f /hdfs/location1/ /hdfs/location2/

实现我的目的的一种方法是先执行hdfs dfs -cp -f /hdfs/location1 /hdfs/location2，然后用hdfs dfs -rm -r /hdfs/location1去掉location1文件，但出于某种原因，我不想这样做。使用单个命令的任何其他方法都是可行的。

提前感谢!！

Answer 1

不是单个命令，而是一种解决方法：

为了在HDFS中合并文件夹，我实现了一个解决方案，因为cp与数据节点上的物理数据交互，而mv只更改名称节点上的元数据。

for i in $(hdfs dfs -ls -R ${hdfs_src_dir} | grep "^-" | awk '{print $8}'); do
  i_dir=$(dirname "${i}")
  target_dir=${hdfs_tgt_dir}${i_dir#"$hdfs_src_dir"}
  hdfs dfs -mkdir -p $target_dir
  hdfs dfs -mv ${i} "${target_dir}"/ 2>&1
done

第一行递归地选择目标中的所有文件。然后创建目标中每个文件的路径，并最终移动这些文件。

缺点是文件夹访问权限不会移动，而是在运行时设置。

Answer 2

HDFS外壳命令不支持mv的-f。

您将必须执行copy然后remove方法(如您所述)。

Answer 3

不可能用一个命令就能做到这一点，比如

hdfs dfs -rm {目标Uri}；hdfs dfs -mv {源Uri} {目标Uri}

可以在一行代码中实现这一点。