是否有一个选项可以限制接收导出到BigQuery中的列数？

Question

我创建了一个接收器导出，以便将审计日志加载到BigQuery中。但是，审计日志中有大量我不需要的列。有没有一种方法可以在接收器导出中选择列？

Answer 1

我们需要定义想要减少列数的原因。我的想法是你关心的是成本。如果我们查看活动存储，我们发现当前价格是0.02美元/ GB，每月前10 GB免费。如果数据在90天内未被访问，则存储成本将降至0.01美元/GB。接下来，我们必须估计在一个月内记录所有列使用了多少存储空间，而只记录您想要记录的存储空间。如果我们可以做一些预测，那么我们就可以预测如果我们减少存储使用量，成本可能会有多大的变化。我们想要估计的是每月导出的日志记录的数量，以及如果现在按原样写入的平均日志记录的大小，与只有最少需要字段的日志记录相比。

如果我们确实发现了一个显著节省成本的区别，那么进一步的想法是将日志条目导出到Pub/Sub，并让它们触发云函数。然而，我怀疑我们最终可能会发现，由于Pub/Sub和Cloud Function (以及可能的BQ流插入)的成本，BQ存储上的节省会丢失。

另一种想法可能是意识到BQ日志记录被写入以"day“命名的表。我们可以有一个批处理作业，它在写入了几天的记录之后运行，只将感兴趣的列复制到新表中。同样，我们将不得不注意，在我们试图降低存储成本的过程中，我们最终不会在其他地方获得更高的成本。