Cassandra中的分布式日志

Question

我正在找到将应用程序日志存储在Cassandra中的方法。

我有三个节点设置(Node 1、node 2和Node 3)，在这三个节点中，我的web应用程序作为集群运行，并且负载平衡，因此将从所有节点生成日志。

Cassandra运行在所有三个节点中，日志从所有三个web应用程序中转储到Cassandra集群中，每天都进行分区。

这一办法中的问题：

1)我正在使用我的web应用程序将数据写入Cassandra。

2)对于每一天的分区，数据量都很大。

那么有没有更好的方法来解决这个问题呢？

，这是一个好的设计方法吗？

Answer 1

在Cassandra中存储日志的选择是有争议的；因为对这些数据的分析变得困难但可行。ELK ()或Splunk是更受欢迎的日志分析选择，因为它们的原生“文本”搜索支持和仪表板。

话虽如此，我们还是来看看手头的问题吧。

1)我正在使用我的web应用程序将数据写入Cassandra。

我在这里想到的建议是：

• 是否异步完成写入？推荐。
• 在这些写入过程中使用的一致性级别是什么？一致性越高，web应用程序就会变得越慢，因为它在C*上等待的时间更长(假设同步写入)。请记住，C*仍然可以有RF = 3，但是可以执行一致性= 1。
• 如果C*集群出现故障，会发生什么？网络应用程序也会随之下降吗？

2)对于每一天的分区，数据量都很大。

• 这里有两个问题- Fat分区和同一节点一整天都被击中(导致热点)。工作负载没有分发到整个集群。
• 分区大小可以减少到每小时而不是一整天。但是我们只是把一个节点的足迹从一天减少到了一个小时。这一小时仍然是热点。
• 您可以进行“二级”分区，以获得跨节点的统一数据分布，而不会造成巨大的分区(取决于应用程序的聊天性)。但是，这就是C*用于日志监视的优点变得可疑的地方吗？
• C*要解决的所有查询是什么？如何聚合第二级数据分区并回答在典型日志分析过程中出现的各种问题？

用这个C* DB必须回答的所有日志分析问题(查询)重新审视设计？答案应该是自动排列的。