添加多个S3路径来粘合地形爬行器

Question

我正在用Terraform在AWS中建立一些基础设施。我已经创建了几个S3桶，并希望Glue爬虫每小时爬行这些桶一次。我的Terraform目录db、角色和策略都构建得很好，但是当我试图通过向爬虫的S3部分添加四条s3_target{}路径来创建爬虫资源时，我会得到一个失败：

resource "aws_glue_crawler" "datalake_crawler" {
  database_name = "${var.glue_db_name}"
  name          = "${var.crawler_name}"
  role          = "${aws_iam_role.glue.id}" 

  s3_target {
#    count = "${length(var.data_source_path)}"
    path = "${var.data_source_path}"#"${formatlist("%s", var.data_source_path)}"
  }
}

这将导致一个错误：

Error: aws_glue_crawler.datalake_crawler: s3_target.0.path must be a single value, not a list

我尝试过在count中添加一个s3_target语句，但是失败了。我也尝试过添加

"${formatlist("%s", var.data_source_path)}"

在path参数中，但这也失败了。

我可以向具有Terraform的Glue Crawler添加多个s3路径吗？我可以通过AWS控制台实现这一点，但这需要使用基础设施作为代码。

Answer 1

要针对其他S3路径，只需多次重复s3_target块，如下所示：

resource "aws_glue_crawler" "datalake_crawler" {
  database_name = "${var.glue_db_name}"
  name          = "${var.crawler_name}"
  role          = "${aws_iam_role.glue.id}" 

  s3_target {
    path = "${var.data_source_path_1}"
  }

  s3_target {
    path = "${var.data_source_path_2}"
  }
}

这在资源文档中被简要地提到，在其中它是他说。

s3_target (可选)列出嵌套的S3目标参数。见下文。

您也可以在资源架构的源代码中看到这一点

        "s3_target": {
            Type:     schema.TypeList,
            Optional: true,
            MinItems: 1,

不幸的是，在0.12之前，您不能直接在Terraform中以编程方式构建它来循环动态路径列表，并且需要静态地指定它们。

TerraForm0.12将引入HCL2，它更好地支持循环(而不是使用count)，包括动态块，这将允许您执行以下操作：

resource "aws_glue_crawler" "datalake_crawler" {
  database_name = var.glue_db_name
  name          = var.crawler_name
  role          = aws_iam_role.glue.id 

  dynamic "s3_target" {
    for_each = var.data_source_paths

    content {
      path = s3_target
    }
  }
}