Postgres的GCP Cloud SQL查询日志记录

Question

几周来，我一直在努力尝试让Cloud SQL Postgres实例执行任何类型的查询日志记录，但我没有取得任何进展。我意识到这应该是一个超级简单的练习，但除了它似乎不起作用之外，我没有更多的解释。

我已经尝试设置了以下标志：

值为0、100、500和1000的log_min_duration_statement。

值为'ddl‘、'mod’和‘log_statement’的log_statement。

log_statement_stats设置为'on‘。

我还尝试了这里列出的一堆其他“可能的嫌疑人”：https://cloud.google.com/sql/docs/postgres/flags，但都无济于事。

我甚至尝试过启用pgaudit日志，但似乎没有任何效果。

鉴于此，总是有可能会记录这些数据，但我只是找不到它，所以在stackdriver中，我的过滤器是：

resource.type="cloudsql_database"
resource.labels.database_id="<<project-name>>:<<instance-name>>"

它显示了数据库中发生的任何错误，比如查询一个不存在的表，或者尝试比较两种不同的数据类型，但没有任何类型的查询。

我甚至用以下命令扫描了所有的日志：

textPayload:"select"

也没有发现任何东西。

任何建议，小贴士或小窍门都将非常感谢！

编辑:附加信息。

我正在测试的实例如下图所示：

​

我可以在我的所有模式上创建pgaudit扩展，而不会出现任何错误。psql客户端简单地回显“CREATE EXTENSION”。

我使用私有IP从GKE环境连接到实例，我的应用程序同时运行DDL和DML语句。

这是我在云控制台的Access部分为云SQL启用的'Audit Logs‘的镜像：

​

这是一个全新的实例，我正在使用它进行负载测试，所以每天早上我都会使用terraform脚本创建一个新实例，下面是相关资源：

resource "google_sql_database_instance" "loadtesting_postgres_master" {
   database_version = "POSTGRES_12"
   name             = "loadtesting-test-instance-12"
   project          = "${var.projectId}"
   region           = "${var.region}"

   depends_on = ["google_service_networking_connection.private_vpc_connection"]
   deletion_protection = false

   settings {

activation_policy = "ALWAYS"
availability_type = "ZONAL"

backup_configuration {
  binary_log_enabled             = "false"
  enabled                        = "true"
  location                       = "eu"
  point_in_time_recovery_enabled = "true"
  start_time                     = "03:00"
}

disk_autoresize        = "false"
disk_size              = "1000"
disk_type              = "PD_SSD"

ip_configuration {
  ipv4_enabled    = "true"
  private_network = "projects/my-project-name/global/networks/loadtesting-vpc"
  require_ssl     = "false"
}

location_preference {
  zone = "${var.region}"
}

maintenance_window {
  day  = "7"
  hour = "0"
}

pricing_plan     = "PER_USE"
tier             = "db-custom-8-15360"
  }
}

实例启动后，我手动添加您推荐的两个标志，一次一个。

在我的每个模式上手动创建pg审计扩展，并开始运行我的测试。

仍然没有登录到stackdriver上。

Answer 1

因此，看起来您需要启用pgaudit flags。(目前处于测试阶段)

总结一下链接：

INSTANCE_NAME=sql-playground
gcloud sql instances patch $INSTANCE_NAME --database-flags cloudsql.enable_pgaudit=on`
gcloud sql connect $INSTANCE_NAME

进入数据库后，运行以下命令：

> CREATE EXTENSION pgaudit;

然后回到gcloud的世界：

gcloud sql instances patch $INSTANCE_NAME --database-flags \
  cloudsql.enable_pgaudit=on,pgaudit.log=all

它需要重新启动一次或两次，但我确实让它记录了语句：

​

​

当然，在生产环境和PII数据等方面要小心。

Answer 2

考虑到您需要启用Data Access Audit Logs，但是日志仅写入云日志if the operation is an authenticated user-driven API call。

尽管该产品仍处于正式发布前的产品条款中，但我建议您按照relevant section of the public docs中的说明测试pgaudit扩展。步骤非常简单，正如您应该做的那样：

通过使用具有cloudsqlsuperuser角色的用户使用psql客户端登录到实例，通过发出gcloud sql instances patch [INSTANCE_NAME] --database-flags cloudsql.enable_pgaudit=on.

• Use命令在实例(或特定数据库)内创建扩展，CREATE EXTENSION pgaudit;

• Set在实例上启用相关标志：gcloud sql instances patch [INSTANCE_NAME] --database-flags cloudsql.enable_pgaudit=on,pgaudit.log=all).

1. 启用pgaudit.log标志的值(例如，打开实例内的所有数据库操作

请注意，根据数据库接收的负载，启用这些标志可能会在CPU and memory overload中转换，因此根据当前负载过度配置分配给实例的层可能是明智之举，并且启用此类日志可能会增加计费，因为您将能够在cloudaudit.googleapis.com/data_access Data access audit logs that are charged separately中看到日志。

Answer 3

您可能还需要考虑验证您的用户是否具有roles/logging.privateLogViewer“私有日志查看者”角色。每个https://cloud.google.com/logging/docs/access-control#considerations：

roles/logging.privateLogViewer (Private Logs Viewer) includes roles/logging.viewer, plus the ability to read Access Transparency logs and Data Access audit logs in the _Required and _Default buckets.

我们花了很长时间才弄清楚为什么我们自己看不到这些日志，结果是“日志查看者”角色不足以读取这些数据访问日志。