AWS CLI : max_concurrent_requests :不超过一个点

Question

在aws cli中增加max_concurrent_requests时，我遇到了一些问题。

我正在尝试最大化s3和c38 xl之间的吞吐量。

实例详情: C38 :实例类型vCPU内存(GiB)存储(GB)网络性能

c3.8xlarge 32 60 2 x 320固态硬盘万兆位

我正在从S3下载到EC2。

输入描述：·Bucket路径：https://s3.console.aws.amazon.com/s3/buckets/dummy·S3，总数据大小为20 S3。·目标文件大小: 2MB·文件个数: 10239·数据完全压缩:文件包含随机字节。使用openssl rand“$filbytes”-out文件

输出描述：·/dev/shm中的一个目录，因为RAM比磁盘存储快得多。

在调用单个cp命令时：

time aws s3 cp --recursive  s3://dummy/ .

[ec2-user@ip.. ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 11

我想要增加并发进程，并且我正在使用aws的配置属性：http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#configuration-values

max_concurrent_requests¶ => Default - 10

当我将其设置为30时

[ec2-user@ip-172-31-46-110 palpal]$ aws configure set default.s3.max_concurrent_requests 30

我明白了：

[ec2-user@ip-172-31-46-110 ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 31 [even 32/33/34 sometimes ]

当我将其配置为30以上时，它停留在这个相同的no。

[ec2-user@ip-172-31-4]$ aws configure set default.s3.max_concurrent_requests 400

[ec2-user@ip-172-31-46-110 ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 32

参考这个：https://aws.amazon.com/blogs/apn/getting-the-most-out-of-the-amazon-s3-cli/。

我不确定这里发生了什么。

任何线索都会有所帮助:)

Answer 1

可能取决于您在服务器上拥有的核心/vCPU数量。你检查过了吗？

nproc

或

grep processor /proc/cpuinfo | tail -1 | tr -dc '[0-9]' | xargs expr 1 +