我用合适的分区键在cosmos db中存储了数百万个文档。我需要检索500,000个文档来做一些计算,并在UI中显示输出,这应该会在10秒内发生。这有可能吗?我试过了,但花了将近一分钟的时间。那么,对于这种需求,这是正确的方法吗?
"id": "Latest_100_Sku1_1496188800",
"PartitionKey": "Latest_100_Sku1
"SnapshotType": 2,
"AccountCode": "100",
"SkuCode": "Sku1",
"Date": "2017-05-31T00:00:00",
"DateEpoch": 1496188800,
"Body": "rVNBa4MwFP4v72xHElxbvYkbo4dBwXaX0UOw6ZRFIyaBFfG/7zlT0EkPrYUcku+9fO/7kvca"一个文档的大小: 825字节
我正在使用autoscale 4000吞吐量
查询统计-我使用2个查询。
查询1- select * from c where c.id in ({ids})这里我在查询选项中使用PartitionKey。
查询统计度量值请求费用102.11 RUs显示结果1- 100检索的文档计数更多信息200检索的文档大小更多信息221672字节输出文档计数更多信息200输出文档大小更多信息221972字节索引命中文档计数更多信息200索引查找时间更多信息17.0499毫秒文档加载时间更多信息1.59ms查询引擎执行时间更多信息0.3401毫秒系统函数执行时间更多信息0.060000000000000005毫秒用户定义函数执行时间更多信息0毫秒文档写入时间更多信息0.16毫秒往返1
查询2 -- select * from c where c.PartitionKey in ({keys}) and c.DateEpoch>={startDate.ToEpoch()}和c.DateEpoch<={endDate.ToEpoch()}
查询统计度量值请求费用226.32 RUs显示结果1- 100检索的文档计数更多信息200检索的文档大小更多信息176580字节输出文档计数更多信息200输出文档大小更多信息176880字节索引命中文档计数更多信息200索引查找时间更多信息88.31毫秒文档加载时间更多信息4.2399000000000004毫秒查询引擎执行时间更多信息0.4701毫秒系统函数执行时间更多信息0.060000000000000005毫秒用户定义函数执行时间更多信息0毫秒文档写入时间更多信息0.19ms往返1
发布于 2020-10-14 00:26:18
查询#1看起来很好。查询#2最有可能受益于DateEpoch上的复合索引。我不确定什么是自定义函数,但是如果您正在将日期转换为纪元,那么您应该阅读一篇新的博客文章New date and time system functions in Azure Cosmos DB
总体而言,在1-2个查询中检索500K文档来进行一些计算似乎是一个奇怪的用例。通常,大多数人都会预先计算值,并使用change feed使用物化视图模式来持久化它们。根据您运行这两个查询的频率,这通常可以更有效地利用计算资源。
https://stackoverflow.com/questions/64333018
复制相似问题