避免日志记录

Question

我正在使用Google执行数以百万计的操作，其中一个问题是日志数据大小。我不执行任何节目或任何其他类型的打印，但这7行信息，乘以数百万得到了一个非常大的日志大小。

有没有办法避免登录？

已经在Dataproc中尝试过，但没有成功：

日志记录

这是我想去掉的7条线：

18/07/30 13:11:54信息org.spark_project.jetty.util.log:日志初始化@. 18/07/30 13:11:55 INFO org.spark_project.jetty.server.Server：.z-快照 13:11:55信息org.spark_project.jetty.server.Server: Started @. 18/07/30 13:11:55 org.spark_project.jetty.server.AbstractConnector:启动ServerConnector@ 18/07/30 13:11:56 INFO com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystemBase: GHFS版本： 18/07/30 13:11:57信息org.apache.hadoop.yarn.client.RMProxy:连接到ResourceManager 18/07/30 13:12:01 org.apache.hadoop.yarn.client.api.impl.YarnClientImpl:提交的申请application_

Answer 1

您要寻找的是一个排除滤波器：您需要从控制台浏览到Stackdriver > Logging > Exclusions，然后单击"Create“。如上文所述：

若要创建日志排除，请编辑左边的筛选器，使其只匹配不希望包含在Stackdriver中的日志。在创建了排除之后，匹配的日志将不再可以在Stackdriver中访问。

在这种情况下，过滤器应该如下所示：

resource.type="cloud_dataproc_cluster"
textPayload:"INFO org.spark_project.jetty.util.log: Logging initialized"
...