错误:没有为[aws] s3_shard_formatter设置配置。这是必需的配置

Question

我开始在flyte中看到这个错误:没有为aws s3_shard_formatter设置配置。这是必需的配置。

什么意思？我们在图像中和注册工作流时设置S3_SHARD_FORMATTER环境变量。

Answer 1

这意味着没有设置configuration object。有多种方法可以设置它。

1. 您可以将其添加到配置文件中，就像这样

[aws]
s3_shard_formatter=s3://bucket-name/{}/
s3_shard_string_length=2

1. 您可以将环境变量FLYTE_AWS_S3_SHARD_FORMATTER设置为1中配置示例中的值。(或者无论您的存储桶名称/路径是什么)。

但是，通常当您看到此错误时，实际发生的情况是没有正确设置在何处查找配置文件本身的配置选项。

如果您可以使用Python repl，请看以下内容。

from flytekit.configuration.internal import CONFIGURATION_PATH
CONFIGURATION_PATH.get()

该路径应该是/full/path/from/root。cat它也只是为了检查它是否符合您的期望。

如果配置选项返回空字符串，则注册步骤一定是错误。确认在注册过程中使用的是哪个文件。