Prometheus错误:写WAL: log示例:wal /data/wal/xxxxx:只读文件系统

Question

我有一个AKS托管集群，我在其中安装了Prometheus (v2.16.0)。由于这个错误，我所有的目标都被关闭了：level=warn ts=2020-09-01T14:05:04.171Z caller=scrape.go:987 component="scrape manager" scrape_pool=kubernetes-nodes target=https://kubernetes.default.svc:443/api/v1/nodes/xxxxx/proxy/metrics msg="appending scrape report failed" err="write to WAL: log samples: write /data/wal/XXXXXX: read-only file system"

我有多个安装了Prometheus的AKS集群，只有这个有这个错误。知道怎么解决这个问题吗？谢谢!

编辑:重新启动普罗米修斯修复了问题，但它可能会再次发生在未来。

Answer 1

我们的解决方案是污染节点，然后将Prometheus吊舱滚动到一个新节点。这是AKS的磁盘问题，如果您检查节点的条件，它会说是ReadonlyFilesystem。