在“实验室”中,我发现8vCPU 13G系统的性能峰值是每块大约32个文件,并将结果保存到块中。在EC2上,与3名工作人员一起,我将其翻译成96个块,从而产生192个任务。现在,我面临着糟糕的S3性能。AmazonS3Client.invoke(AmazonS3Client.java:3528)
at com.amazonaws.services.s3.AmazonS3Client.copyObject','true
我创建了两个threads,并在parallel中执行了它们,但令人惊讶的是,它使用了more time (33.5 secs)而不是sequential execution (29.4 secs)。请告知做错了什么, start = timeit.default_timer() with open(fName, 'a') as f:
for i in ran