我们使用ArangoDB和PostgreSQL来存储几乎相同的数据。PostgreSQL用于执行一般类型的查询,关系数据库可以很好地执行这些查询。ArangoDB被选中来执行一些查询,如图遍历、查找最短路径等。
目前,我们有一个在PostgreSQL中有160000条记录的表,还有一个在ArangoDB中具有相同数量文档的集合。
我们正在开发的API将同时被多个用户使用,所以我首先要检查的是ArangoDB和PostgreSQL在负载下的性能。我创建了一个简单的负载测试,它作为一个工作负载使用ArangoDB和PostgreSQL的过滤器执行一个简单的select查询。
查询使用筛选器by date字段选择top N条记录/文档。
当我运行负载测试时,对PostgreSQL的所有查询都在0.5秒内执行,我将用户数从10增加到100,它根本不影响执行时间。
当您从单个用户开始时,对ArangoDB的相同查询大约需要2秒,然后响应时间与并发用户的数量成正比。对于30个并发用户,所有查询在等待答复60秒后都会超时。
我尝试调试arangojs连接器,发现如下:
var maxTasks = typeof agent.maxSockets === 'number' ? agent.maxSockets * 2 : Infinity;这是:
Connection.agentDefaults = {
maxSockets: 3,
keepAlive: true,
keepAliveMsecs: 1000
};这意味着默认的arangojs行为是同时向ArangoDB发送不超过6个并发查询,这将导致所有其他查询都在Node.js端排队。我试图增加这个数目,但是没有帮助,现在看起来所有的查询都在ArandoDB端排队。现在,如果我运行加载并尝试使用ArangoDB which执行某些查询,查询将交付不可预测的时间(取决于当前的用户量),然后返回结果,并向我展示它在大约4秒内执行,这不是真的。对我来说,ArangoDB一次只能执行一个查询,而所有其他查询都是排队的.
我是不是遗漏了什么?是否有任何设置来调优ArangoDB并提高其在负载下的性能?
更新:
我们使用ArangoDB 3.0并将其作为一个带有1.5GB内存的码头容器(从官方图像)运行。
样本文件(其中约16 000份):
{
"type": "start",
"from_date": "2016-07-28T10:22:16.000Z",
"to_date": "9999-06-19T18:40:00.000Z",
"comment": null,
"id": "13_start",
"version_id": 1
}AQL查询:
FOR result IN @@collection
FILTER (result.version_id == 1)
FILTER (result.to_date > '2016-08-02T15:57:45.278Z')
SORT result._key
LIMIT 100
RETURN result发布于 2016-08-04 18:30:40
我使用以下查询创建了160 k示例文档:
LET v = [1,1,1,1,1,2,2,2,3,3,4]
LET d = DATE_NOW()
FOR i IN 1..160000
INSERT {
"type": "start",
"from_date": DATE_SUBTRACT(d, RAND()*4000, "days"),
"to_date": DATE_ADD(d, RAND()*4000+100, "days"),
"comment": null,
"id": CONCAT(i, "_start"),
"version_id": v[RAND()*LENGTH(v)]
} INTO @@collection
RETURN NEW当同步到磁盘时,数据文件大约为30 is。日志文件为32 The。
如果在该数据集上运行查询,则报告的执行时间平均为0.35秒。
我尝试了不同的索引,而version_id上的一个跳过者似乎能最好地提高性能,使其降低到0.20秒,代价是索引的内存为18 of。在服务器重新启动之后,查询需要1.5s,因为必须在第一次访问时加载集合,并且需要重建索引。但是,后续的查询持续使用0.2s。
我使用了ArangoDB 3.0.devel,它应该显示与稳定的3.0.x版本大致相同的性能。根据web接口运行几次查询后,DBMS使用的RAM为440 web。
如果您一直看到查询次数>1.0,那么有些地方是不对的。如果集合被自动卸载(可能是由RAM不足引起的),您能在查询之间检查吗?如果是这样的话,检查什么占用了您的内存(如果它甚至是ArangoDB),并确保您尝试使用更多的RAM来查看它是否会影响查询时间。另一个资源是否可以限制性能,例如大容量存储或CPU?
https://stackoverflow.com/questions/38766620
复制相似问题