将大量数据上传到Azure BlobStorage的最有效方法

Question

我们经常需要将大型资产包(1GB+)上传到Azure BlobStorage，然后从那里下载。这些软件包需要在存储之前进行压缩，所以不久前，我们为您RDP所在的办公室投资了一台功能强大的PC，这样我们就可以及时将这些包拉链起来。

我们现在正在考虑重新加工，这个过程现在需要是(a)可伸缩的，以便多个客户可以使用它，( b )防灾难，这样如果我们的办公室被抢劫，(c)高效的，如果我们有一个得到a和b点但速度慢的解决方案，就不会被破坏，没有人会使用它。

我一直在考虑编写一个Azure函数或AWS，我们可以使用它们来运行压缩过程，这将解决点a和b，但这可能需要我们将包上传到存储中，在存储中会触发将其压缩并传递的函数。但是，最初的上传过程需要优化，这样我们就不会失去太多的速度。

tl；博士

从本地开发环境上传大型包到Azure BlobStorage的最有效方法是什么？

Answer 1

最简单和最有效的解决方案可能是使用AzCopy (参见https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10)。AzCopy被认为是快速的，它是基于CLI的，因此您可以手动运行它或编写脚本，并且它是跨平台的(Win/Mac/Linux)。对于各种情况，它有大量的选项(读取文档)，并且可以处理各种auth方法。它还具有内置的弹性-它将自动重试失败上传多达20次(使用它自己的指数备份逻辑)。

Answer 2

这实际上是AZ303中的一个问题。

上载大型资产包(1GB+)

中小网络带宽小数据集的数据传输

AzCopy或都是微软提供的免费工具，允许您在Windows、macOS和Linux上使用Azure存储数据。您可以使用它们从Azure blob存储区上传和下载数据。

具有中高网络带宽的大型数据集的数据传输

具有低或无网络带宽的大型数据集的数据传输

参考文献： 选择用于数据传输的Azure解决方案