如果目标中不存在文件，则要上载的AWS s3同步

Question

我已经从我的本地目录上传了大约1,000,000个文件到s3存储桶/子文件夹，其中一些失败了。

我想使用'sync‘选项来捕获那些第一次没有成功的人。s3修改日期是上传我的文件的日期/时间(与我的源文件的日期/时间不同)。

据我所知，如果文件不存在，如果文件日期已更改，或者文件大小不同，同步会将文件上传到目标。

我是否可以修改命令行，使其不使用文件日期作为同步的考虑因素？我只想复制一个不存在的文件。

aws s3同步\本地服务器\本地共享\文件夹s3://mybucket/文件夹1

Answer 1

aws s3 sync将比较“上次修改时间”。

对于S3中的对象，只有一个时间戳LastModified，应该是您上传文件的时间。

对于本地文件(假设是posix linux文件系统)。它应该有3个时间戳:上次访问、上次修改、上次状态更改。仅使用上次修改时间进行比较。

现在支持您上传了1M个文件，其中一些文件失败了。对于所有成功上载的文件，它们应该具有相同的上次修改时间，然后另一个同步将不会再次上载它们(同步将验证这些文件是否相同，对于1M个对象的验证将相当长。)

同时，您可以使用aws s3 sync --size-only参数。它符合你所描述的。但是一定要检查它是否是你真正需要的东西。我的意思是，在许多情况下，许多文件可以保持相同的大小，即使在修改后(有意或无意)，--size-only将忽略这些相同大小的文件。