首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >什么时候使用RocksDB,什么时候在ArangoDB中使用MMFiles存储引擎?

问什么时候使用RocksDB,什么时候在ArangoDB中使用MMFiles存储引擎?
EN

Stack Overflow用户
提问于 2019-02-10 23:10:36
回答 1查看 1.3K关注 0票数 4

我们使用ArangoDB存储电信数据。我们应用程序的主要目标是让用户快速构建特定类型的报告。这些报告主要是基于我们在遍历不同的图时从ArangoDB获得的数据。报表的业务逻辑并不简单,这会导致带有多个嵌套遍历(子查询)的非常复杂的AQL查询。

快速概述我们在ArangoDB:中存储的数据

  • 28集合与文档(最大的集合由3500 K文档组成,平均集合通常在100到1000 K之间)
  • 带边的3集(335 K边、3500 K边和15000 K边)
  • 3图(每个图都链接到一个边集合,最大的图有23个从集合到集合)

当完全加载时,整个数据集需要大约28 GB的RAM (包括索引)。

我们已经使用MMFiles将近两年了,并且对结果非常满意,除了一些问题:

  • 前所未有的内存消耗,我描述了这里
  • 非常慢的重新启动(在数据库重新完全响应之前需要1小时30分钟)
  • 事实上,我们必须使用64 GB内存的非常昂贵的VM才能将所有数据放入RAM中。

经过一些研究,我们开始研究一个新的RocksDB存储引擎。我读过:

从文档和对我关于内存消耗问题的回答中我可以看到,RocksDB应该是我们的一条路。所有的文档都说它是ArangoDB的新默认引擎,如果您想要存储更多的数据而不是适合在内存中的话,就应该使用它。

我安装了新的ArangoDB 3.4.1,并将数据库从MMFiles转换为RocksDB (通过arangodumpa和arangorestore)。然后,我运行了一些性能测试,发现与MMFiles引擎相比,所有的遍历速度都慢了2-6倍。有些使用MMFiles引擎花了20秒的查询现在使用RocksDB需要40秒,即使您多次运行相同的查询(即数据映射已经兑现)。

更新2/15/2019:

我们在AWS上的m4.4xlarge实例上的码头容器中运行16 vCPU和64 GB的RAM。我们为ArangoDB容器分配了32 GB内存和6144个CPU单元。下面是我们测试的简短摘要(数字显示了以HH:mm:ss格式执行特定AQL遍历查询所需的时间):

​

​

Note,在这个特定的表中,我们不会像我在最初的问题中提到的那样出现10倍的性能下降。当我们在重启ArangoDB后立即运行AQL时,最大的速度要慢6倍(我想这是可以的)。但是,大多数查询比MMFiles慢2倍,即使您第二次运行它时,所有数据都必须缓存在RAM中。在Windows上,情况甚至更糟(在那里,我的性能下降了10次甚至更多)。稍后我会发布我的Windows的详细规范和性能测试。

,我的问题是: AQL是否是一种预期的行为,AQL穿越RocksDB引擎的速度要慢得多?对于何时使用MMFiles引擎、何时使用RocksDB引擎以及在何种情况下RocksDB不是一个选项,是否有任何一般性建议?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-08-25 09:24:05

随着对MMFiles的支持被取消,这个问题可以用"use“来回答。

我们花了一段时间在ArangoDB中开发基于rocksdb的存储引擎,但是我们现在相信它完全能够处理所有的负载。

我们演示了如何使用rocksdb存储系统的部分内容以及它们在本文中的作用。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54622069

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档