我们使用ArangoDB存储电信数据。我们应用程序的主要目标是让用户快速构建特定类型的报告。这些报告主要是基于我们在遍历不同的图时从ArangoDB获得的数据。报表的业务逻辑并不简单,这会导致带有多个嵌套遍历(子查询)的非常复杂的AQL查询。
快速概述我们在ArangoDB:中存储的数据
当完全加载时,整个数据集需要大约28 GB的RAM (包括索引)。
我们已经使用MMFiles将近两年了,并且对结果非常满意,除了一些问题:
经过一些研究,我们开始研究一个新的RocksDB存储引擎。我读过:
从文档和对我关于内存消耗问题的回答中我可以看到,RocksDB应该是我们的一条路。所有的文档都说它是ArangoDB的新默认引擎,如果您想要存储更多的数据而不是适合在内存中的话,就应该使用它。
我安装了新的ArangoDB 3.4.1,并将数据库从MMFiles转换为RocksDB (通过arangodumpa和arangorestore)。然后,我运行了一些性能测试,发现与MMFiles引擎相比,所有的遍历速度都慢了2-6倍。有些使用MMFiles引擎花了20秒的查询现在使用RocksDB需要40秒,即使您多次运行相同的查询(即数据映射已经兑现)。
更新2/15/2019:
我们在AWS上的m4.4xlarge实例上的码头容器中运行16 vCPU和64 GB的RAM。我们为ArangoDB容器分配了32 GB内存和6144个CPU单元。下面是我们测试的简短摘要(数字显示了以HH:mm:ss格式执行特定AQL遍历查询所需的时间):

Note,在这个特定的表中,我们不会像我在最初的问题中提到的那样出现10倍的性能下降。当我们在重启ArangoDB后立即运行AQL时,最大的速度要慢6倍(我想这是可以的)。但是,大多数查询比MMFiles慢2倍,即使您第二次运行它时,所有数据都必须缓存在RAM中。在Windows上,情况甚至更糟(在那里,我的性能下降了10次甚至更多)。稍后我会发布我的Windows的详细规范和性能测试。
,我的问题是: AQL是否是一种预期的行为,AQL穿越RocksDB引擎的速度要慢得多?对于何时使用MMFiles引擎、何时使用RocksDB引擎以及在何种情况下RocksDB不是一个选项,是否有任何一般性建议?
发布于 2020-08-25 09:24:05
随着对MMFiles的支持被取消,这个问题可以用"use“来回答。
我们花了一段时间在ArangoDB中开发基于rocksdb的存储引擎,但是我们现在相信它完全能够处理所有的负载。
我们演示了如何使用rocksdb存储系统的部分内容以及它们在本文中的作用。
https://stackoverflow.com/questions/54622069
复制相似问题