蜂巢的Metastore(Mysql)瓶颈

Question

我们有一个以MariaDB为转移数据库的蜂巢安装。MariaDB有大约250 GB的元数据和大约100 GB的索引。在峰值负荷为40-60K QPS时，它变得非常缓慢。

从社区中寻找相似的经验，如果有的话，以及他们做了什么来扩展元商店或修复它？

我目前正在研究的一些想法是：

• HMS级别的应用程序缓存:在我当前的版本2.0.1中没有发现开箱即用的功能。在更高版本中是否有对它的支持？
• replicas和路由选择它:如果存在复制滞后，则面临一些失败，而我正试图读取该值。
• Mysql的水平切分:以复杂的方式创建它。看到了TiDB的一些建议，但不确定它的经验。

Answer 1

这个问题的答案在很大程度上取决于工作负载的类型(读和写的百分比等)，也取决于您的硬件。从你的第一个问题上看，数据似乎是时间的关键(一旦提交了数据，就应该读取)。

您可以采取几种方法，包括：

• 应用程序级缓存，或者像Memcached / Redis这样的缓存层
• 带有负载均衡器的MariaDB Galera集群用于读取负载
• 切分，如蜘蛛引擎
• 为工作负载优化数据/架构/数据库

如果您没有资源在模拟的相同设置上尝试这些东西，那么我建议您提供某种MariaDB咨询服务。这些服务将帮助您为特定的工作负载做出最佳决策。有许多公司将提供这种服务(包括MariaDB公司本身)。

编辑:声明请求..。我声明我不是MariaDB公司的附属公司。我为MariaDB基金会工作，该基金会是一个独立的非营利实体.