我的Mongo数据库的日志每月增长100 G

Question

我继承了一个蒙戈数据库的管理，基本上对它是如何建立和如何管理的一无所知。

我注意到它的日志以每月100 G的荒谬速度增长(或每分钟200万，不断增长)。尽管DB设置为默认级别(根据docs，也称为最低级别)，但仍然是如此。

我不知道如何诊断到底发生了什么，再次因为完全缺乏知识。你有什么推荐吗？

有关该系统的更多细节：

该数据库用于分布式数据生产。几个“客户端”定期查询数据库中要执行的任务。然后执行任务，然后客户端将有关它们的基本信息发送回DB。

有4个站点，每5-10分钟进行一次。每个站点有100到1000项任务，他们每5-15分钟发出一次现场信号。

Answer 1

首先下载jq。然后，您可以对日志文件进行快速分析。

下面是一个示例：

$ jq -c '{s:.s, c:.c}' /var/log/mongodb/mongod.log | sort | uniq -c
    848 {"s":"I","c":"-"}
   5395 {"s":"I","c":"ACCESS"}
  35998 {"s":"I","c":"COMMAND"}
   3729 {"s":"I","c":"CONNPOOL"}
      5 {"s":"I","c":"CONTROL"}
   2259 {"s":"I","c":"INDEX"}
   4612 {"s":"I","c":"MIGRATE"}
  21723 {"s":"I","c":"NETWORK"}
  18987 {"s":"I","c":"SHARDING"}
   7236 {"s":"I","c":"SH_REFR"}
   5786 {"s":"I","c":"STORAGE"}
    219 {"s":"I","c":"WRITE"}
   7224 {"s":"W","c":"NETWORK"}
    411 {"s":"W","c":"SHARDING"}

大多数日志都是{"s":"I","c":"COMMAND"}，所以请看一看

$ jq -c 'select(.s == "I") | select(.c == "COMMAND") | {msg: .msg}' /var/log/mongodb/mongod.log | sort | uniq -c
     94 {"msg":"Attempting to kill cursor"}
     98 {"msg":"Attempting to kill operation"}
   3547 {"msg":"CMD: drop"}
     94 {"msg":"Killed cursor"}
    843 {"msg":"renameCollectionForCommand"}
  31681 {"msg":"Slow query"}

大多数信息是“慢速查询”，所以通过使用Google你就可以得到db.setProfilingLevel()。通过为operationProfiling.slowOpThresholdMs设置更高的值，日志的数量应该更少。