Dask Distributed无法定位凭据

Question

我无法使用数据帧read : df_read_csv访问S3上的文件。我得到了错误：Exception: Unable to locate credentials

当我的dask distributed在本地工作核心上运行时，这很好用。但是，当我导入一个带有额外工作服务器集群的客户端时，它会失败。我的集群是在ubuntu上使用dask-ec2创建的，头服务器上有1个调度器，3个工作服务器(都是ubuntu)。

我假设失败是因为所有的工作人员也需要访问S3。我已经在所有的cli上安装了aws cli，并使用我的密钥进行了连接，可以列出cli中的S3存储桶。然而，由于某些原因，我数据帧阅读器抛出了一个ubuntu错误，说boto无法定位凭证

我翻遍了各种帖子，但似乎找不到任何有帮助的东西。这是错误的屏幕截图：

​

​

Answer 1

嗨，马特，你应该把key和secret添加到storage_options中。在我的例子中，它们保存在settings.py上

import dask.dataframe as dd
import settings

df = dd.read_csv("s3://gra-dask-ec2/us_cities.csv",
                  storage_options={'key': settings.AWS_ACCESS_KEY_ID,
                                   'secret': settings.AWS_SECRET_ACCESS_KEY})