首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何管理Bitnami Kafka Helm图表中的存储/持久性溢出?

问如何管理Bitnami Kafka Helm图表中的存储/持久性溢出?
EN

Server Fault用户
提问于 2021-05-30 15:11:47
回答 1查看 786关注 0票数 0

我在使用Terraform的AWS上部署Bitanmi Kafka Helm图表。我发现文档存储和持久性分配非常令人费解。据我从文档中了解到的;日志是主题中的消息块,当超过可配置的字节、消息或时间配额时,日志会被刷新到存储中的文件中。

Helm图表有状态集有以下几卷:

代码语言:javascript
复制
          volumeMounts:
            - name: data
              mountPath: {{ .Values.persistence.mountPath }}
            - name: logs
              mountPath: {{ .Values.logPersistence.mountPath }}

我在舵机图表中启用了logPersistence来保留日志,在helm图表提供的附加卷中,除非我提供了另一个选项(但我没有)。

如果logPersistence耗尽了怎么办?我能否配置一个故障安全,即配置Kafka以保留所有内容,并在超出配额的情况下删除旧日志文件?如何检索持久化日志?使用者是否可以要求早期偏移量中的主题消息,并导致延迟或失败?如果是的话,有哪些策略可以恢复呢?

编辑

我通过观察卡夫卡豆荚中的目录学到

默认情况下,Bitnami Helm图表将消息保存到映射到/bitnami/kafka/data/目录的持久性。

默认情况下,Kafka服务器日志被发送到stdout,并且可以配置为存储在映射到/opt/bitnami/kafka/log的logPersistence中。

当然,这些目录会变得满,并可能导致崩溃。

我还不知道是否有一个可配置的卡夫卡设置,以避免崩溃,即清除旧信息的存储,如果它即将耗尽。

EN

回答 1

Server Fault用户

发布于 2021-05-31 09:06:36

(如果没有,消息会被删除吗?)

如果不提供标记,日志将仅发送到stdout。

如果logPersistence耗尽了怎么办?

我不知道你这么说是什么意思,你是说把音量从空间里拿出来吗?您可以使用logPersistence.size,如果它超出空间,您将需要重新调整de卷的维数。

如果客户端请求来自早期偏移量的主题消息并导致延迟或失败,这种情况会发生吗?如果是的话,有哪些策略可以恢复呢?

请你澄清这个问题好吗?

“持久性”/data中保留了什么?它的使用量增加了吗?如果它增加了,我可以配置一个故障安全吗?

主要是日志(如果配置的话),为了检查它是否适合您的需要,您可以尝试在容器中部署docker并检查这个目录。

如果根磁盘上保存了什么呢?根磁盘应该有多大?它的使用量增加了吗?我能配置一个故障保险柜吗?

请你也澄清一下好吗?根磁盘是什么意思?

编辑:

澄清:如果日志被冲到存储区,消费者或消费者组可以检索它们吗?

保存日志是为了避免在重新启动吊舱时丢失日志。要使用这些日志,可以使用首选的方法,例如,可以使用Logstash。

澄清:除了这些目录之外,pod对所有目录都使用本地节点存储:数据-> /bitnami/kafka和日志/opt/bitnami/kafka/logs

很难预测哪个应该是存储的大小。这取决于存储的数据量。在日志的情况下,卡夫卡运行时间越长,存储的数据就越多。这也可能不取决于向卡夫卡经纪人提出的要求。如果目录/bitnami/data和/opt/bitnami/kafka/logs没有使用本地存储,我猜您使用的是任何其他类型的存储,如果需要的话,您应该能够更新容量。

票数 0
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/1065135

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档