我在测试卡桑德拉作为时间序列数据库。
我创建数据模型如下:
CREATE KEYSPACE sm WITH replication = {
'class': 'SimpleStrategy',
'replication_factor': 1
};
USE sm;
CREATE TABLE newdata (timestamp timestamp,
deviceid int, tagid int,
decvalue decimal,
alphavalue text,
PRIMARY KEY (deviceid,tagid,timestamp));在主键中,我将deviceid设置为分区键,这意味着所有具有相同设备id的数据都将写入一个节点(它是指一台机器还是一个分区)。每个分区最多可以有20亿行)如果我在同一节点内查询数据,检索将是快速的,对吗?我刚接触过Cassandra,对分区键和聚类键有点困惑。
我的大部分查询如下:
我将有大约2000的设备I,每个设备I将有60个tagid/value对。我不确定它是否会是一个宽行的deviceid,时间戳,tagid/value,tagid/value.
发布于 2016-03-17 02:13:09
我刚接触过Cassandra,对分区键和聚类键有点困惑。
听起来好像您理解分区键,所以我只需添加分区键就可以帮助Cassandra确定集群中存储数据的位置(哪个令牌范围)。每个节点负责几个主令牌范围(假设为vnode)。当您的数据被写入数据分区时,它将根据群集键进行排序。这也是它存储在磁盘上的方式,所以请记住,集群键决定了数据存储在磁盘上的顺序。
每个分区最多可以有20亿行。
那不完全是真的。每个分区可以支持多达20亿个单元。单元格本质上是列名/值对。而您的聚类键本身就是一个单元格。因此,通过计算为每个CQL行存储的列值来计算单元格,如果使用群集列,则再添加一个。
根据您的宽行结构,您可能有远少于20亿行的限制。此外,这只是存储限制。即使您设法将100万CQL行存储在一个分区中,查询该分区也会返回如此多的数据,这将是笨拙的,可能是超时的。
如果我在同一节点中查询数据,检索将是快速的,对吗?
它至少比访问多个节点的多键查询更快。但是它是否会“快速”取决于其他事情,比如您的行有多宽,以及您执行诸如删除和就地更新等事情的频率。
我的大部分查询如下: 选择最新的deviceid和tagid的时间戳,选择已知deviceid和tagid的下降值,以及时间戳--选择已知deviceid和tagid的字母值和时间戳--选择时间范围的deviceid和tagid的选择*。
除了最后一个查询之外,当前的数据模型可以支持所有这些查询。为了在timestamp上执行范围查询,您需要将数据复制到一个新表中,并构建一个支持该查询模式的主键。这被称为“基于查询的建模”。我将构建一个如下所示的查询表:
CREATE TABLE newdata_by_deviceid_and_time (
timestamp timestamp,
deviceid int,
tagid int,
decvalue decimal,
alphavalue text,
PRIMARY KEY (deviceid,timestamp));该表可以支持timestamp上的范围查询,而在deviceid上进行分区。
但我所看到的这两种模型中最大的问题是“无界的行增长”。基本上,当您为您的设备收集越来越多的值时,您将接近每个分区的20亿个单元格限制(同样,在此之前,事情可能会变得缓慢)。你需要做的是使用一种叫做“时间桶”的建模技术。
举个例子,我要说的是,我决定按月执行任务将使我保持在20亿个单元格的限制之下,并允许我所需的日期范围灵活性类型。如果是这样,我将添加一个额外的分区键monthbucket,我的(新)表如下所示:
CREATE TABLE newdata_by_deviceid_and_time (
timestamp timestamp,
deviceid int,
tagid int,
decvalue decimal,
alphavalue text,
monthbucket text,
PRIMARY KEY ((deviceid,monthbucket),timestamp));现在,当我想查询特定设备和日期范围中的数据时,我也会指定monthbucket。
SELECT * FROM newdata_by_deviceid_and_time
WHERE deviceid='AA23' AND monthbucket='201603'
AND timestamp >= '2016-03-01 00:00:00-0500'
AND timestamp < '2016-03-16 00:00:00-0500';记住,monthbucket只是一个例子。对您来说,使用季度或甚至年份可能更有意义(假设每个deviceid在一年中不会存储太多的值)。
https://stackoverflow.com/questions/36048660
复制相似问题