ClearML如何在AWS Sagemaker中更改clearml.conf文件

Question

我在AWS Sagemaker Jupyter notebook工作。我已经在Jupyter的AWS Sagemaker中安装了clearml包。在亚马逊网络服务EC2上安装了ClearML服务器。我需要将工件和模型存储在AWS S3存储桶中，因此我希望在clearml.conf文件中指定S3的凭据。如何在AWS Sagemaker实例中更改clearml.conf文件？看起来它的所有文件夹的权限都被拒绝了。或者，也许有人可以提出一个更好的方法。

Answer 1

免责声明我是ClearML (以前的火车)团队的一员。

要设置凭据(和clearml-server主机)，可以使用Task.set_credentials。要将S3存储桶指定为所有工件(以及调试图像)的输出，只需将其设置为files_server即可。

例如：

from clearml import Task

Task.set_credentials(api_host='http://clearml-server:8008', web_host='http://clearml-server:8080', files_host='s3://my_bucket/folder/',
key='add_clearml_key_here', secret='add_clearml_key_secret_here')

要传递您的S3凭据，只需在jupyter笔记本顶部添加一个单元格，并设置标准的AWS S3环境变量：

import os
os.environ['AWS_ACCESS_KEY_ID'] = 's3_bucket_key_here'
os.environ['AWS_SECRET_ACCESS_KEY'] = 's3_bucket_secret_here'
# optional
os.environ['AWS_DEFAULT_REGION'] = 's3_bucket_region'