问通过多个线程读取S3对象时，连接池是完全警告的
EN

Stack Overflow用户

提问于 2021-02-04 08:06:25

回答 1查看 2.6K关注 0票数 2

我正在使用boto3读取s3对象

s3_client = boto3.client('s3', region_name='us-east-1')
obj = s3_client.get_object(Bucket=S3_BUCKET, Key=key)

我通过50-100个线程运行这个程序来访问不同的对象并收到警告：

urllib3.连接池-警告-连接池已满，丢弃连接: s3.amazonaws.com

如何增加连接池的大小？

是否有更好的方法来访问具有多个线程的不同S3对象？

回答已采纳

发布于 2021-02-04 11:18:41

添加max_pool_connections (默认10)解决了这个问题。

client_config = botocore.config.Config(
    max_pool_connections=50
)
s3_client = boto3.client('s3', region_name='us-east-1', config=client_config)

票数 4

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/66041582

复制

相似问题

问通过多个线程读取S3对象时，连接池是完全警告的EN