使用AzCopy复制大量小blobs

Question

我正在尝试将大约500.000个blob从一个存储帐户增量复制到另一个存储帐户。

但是，似乎如果我不指定/Pattern:参数，AzCopy就会永远挂起，永远不会结束。(我实际上在大约15分钟后停止了这个过程)。

50万(可能高达500万)的blob对于AzCopy来说是不是太多了，还是我错过了什么？

我使用的命令如下所示：

AzCopy /Source:<src>/documents /SourceKey:<srcKey> /Dest:<dest>/documents /DestKey:<deskKey> /S /XO /Y

添加/pattern参数可以解决这个问题，但我想要容器中所有blobs的完整副本。

我必须补充的是，它已经设法复制了所有blobs，当它必须“找出”自上次完整备份以来添加了哪些blobs时，才是后续运行失败的原因。

Answer 1

您使用的是哪个版本的AzCopy？我猜这个问题已经在很多版本中得到了修复。在几个版本之前，AzCopy需要在开始传输之前列出所有要下载的blob；目前AzCopy可以同时列出和传输。

要下载最新版本的AzCopy并查找更多信息，请访问http://aka.ms/azcopy。