首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >gsutil rsync:转移的数量与“`du`”不同

问gsutil rsync:转移的数量与“`du`”不同
EN

Stack Overflow用户
提问于 2018-10-18 13:52:24
回答 1查看 249关注 0票数 2

我试图使用以下命令将一个大型目录(几兆字节)备份到google云:

gsutil -m rsync -r -e local_dir/ gs://target/bucket

总之,并行运行(-m)、递归(-r)搜索目录local_dir/ (不要遵循符号链接-e),并将其远程存储在桶gs://target/bucket中。

此操作成功地完成:

代码语言:javascript
复制
[666.4k/666.4k files][ 6.3 TiB / 6.3 TiB] 100% Done
Operation completed over 666.4k objects/6.3 TiB.

然而,让我担心的是,当我运行du时,文件夹大小是不同的。

代码语言:javascript
复制
$ du --max-depth 1 -h local_dir/
...
7.6T    local_dir

谁能解释一个以上TiB的差异来自哪里,与gsutil转移了什么相比较,以及du报告了什么?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-10-18 15:25:58

部分不同之处在于,Linux报告的单位是40 (10^12字节),而gsutil cp是以四字节单位(2^40)报告的。因此,Linux单元比gsutil单元大1.0995倍。此外,目录和inode占用文件数据字节以外的空间。例如,如果运行以下命令:

代码语言:javascript
复制
mkdir tmp
cd tmp
for f in {1..1000};do
touch $f
done
du -h

它报告使用了24K,尽管每个文件都是空的(因此,每个inode平均为2.4k字节)。如果删除临时文件并在目录上运行du -s,它将消耗4k字节。因此,您的666.4k文件将消耗大约16 MB,再加上所包含的目录的数量。而且,所使用的数量可能因所使用的文件系统的类型而不同。我上面报告的数字是用于运行在Debian上的ext4文件系统的。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52875621

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档