我试图使用以下命令将一个大型目录(几兆字节)备份到google云:
gsutil -m rsync -r -e local_dir/ gs://target/bucket
总之,并行运行(-m)、递归(-r)搜索目录local_dir/ (不要遵循符号链接-e),并将其远程存储在桶gs://target/bucket中。
此操作成功地完成:
[666.4k/666.4k files][ 6.3 TiB / 6.3 TiB] 100% Done
Operation completed over 666.4k objects/6.3 TiB.然而,让我担心的是,当我运行du时,文件夹大小是不同的。
$ du --max-depth 1 -h local_dir/
...
7.6T local_dir谁能解释一个以上TiB的差异来自哪里,与gsutil转移了什么相比较,以及du报告了什么?
发布于 2018-10-18 15:25:58
部分不同之处在于,Linux报告的单位是40 (10^12字节),而gsutil cp是以四字节单位(2^40)报告的。因此,Linux单元比gsutil单元大1.0995倍。此外,目录和inode占用文件数据字节以外的空间。例如,如果运行以下命令:
mkdir tmp
cd tmp
for f in {1..1000};do
touch $f
done
du -h它报告使用了24K,尽管每个文件都是空的(因此,每个inode平均为2.4k字节)。如果删除临时文件并在目录上运行du -s,它将消耗4k字节。因此,您的666.4k文件将消耗大约16 MB,再加上所包含的目录的数量。而且,所使用的数量可能因所使用的文件系统的类型而不同。我上面报告的数字是用于运行在Debian上的ext4文件系统的。
https://stackoverflow.com/questions/52875621
复制相似问题