我正在评估Clickhouse用于存储具有可变事件模式的流事件。事件模式是嵌套的JSON。新属性可能具有不同的数据类型,因此我们不能创建规范化的键值对。
根据文档,每当模式发生更改时,我们都必须显式地更改表的模式,然后插入新记录。由于插入操作是从多个源工作进程进行的,因此添加'IF NOT EXISTS‘子句可以帮助最小化竞争条件。
有没有人能告诉我们,有没有更好的方法将动态变化的模式插入到Clickhouse中?有没有办法让Clickhouse根据插入的事件来推断更新后的模式?
发布于 2019-10-11 21:31:39
insert上的每一列都需要2MB RAM。
在插入时,1000列表将消耗2 2GB。
每列=~ 3个磁盘上的文件+= 3插入时随机读/写。
Alter table有时会被合并/选择阻塞,并可能被执行数小时。
我会从JSON中选择主列(将在最常使用的地方使用),并将它们放入专用列中。其他列分为K/V -2列(Key Array(String)、Value Array(String))。否则,请使用MongoDb。
发布于 2020-12-30 17:58:40
在ClickHouse中使用支持事件中任何类型的fix模式会怎么样呢?例如,使用嵌套列或JSON列。我在使用嵌套列的PoC中尝试了这一点,结果很好。首先,我确定了4种不同的数据类型:strings、numbers、booleans和dates。
ClickHouse模式将如下所示
CREATE TABLE custom_events
(
// ... Normal columns needed depending on your use case
attribute_string Nested
(
name String,
value String
),
attribute_number Nested
(
name String,
value Float32
),
attribute_boolean Nested
(
name String,
value UInt8
),
attribute_date Nested
(
name String,
value Datetime('UTC')
)
)
ENGINE = MergeTree()
ORDER BY (
...
);嵌套的列将由ClickHouse转换为数组类型的两列。要使用此模式,您需要按类型对事件字段进行分组,并在继续插入到ClickHouse之前将其展平。例如,JSON中的以下事件
{
"event_id": 1,
"event_date": "2018-08-02 10:06:23",
"data": {
"rides": [
{
"km": 93,
"vehicle": "plane",
"people": 2.15,
"finished": true,
"date": "2019-06-24T18:52:34"
}
]
}
}可以像这样变得扁平
{
"event_id": 1,
"event_date": "2018-08-02 10:06:23",
"data.rides.0.km": 93,
"data.rides.0.vehicle": "plane",
"data.rides.0.people": 2.15,
"data.rides.0.finished": true,
"data.rides.0.date": "2019-06-24T18:52:34"
}然后你可以像这样插入到ClickHouse中
insert into custom_events VALUES (1, "2018-08-02 10:06:23",
['data.rides.0.vehicle'], ['plane'], // This is Key and Value for strings
['data.rides.0.km', 'data.rides.0.km'], [93, 2.15] // This is Key and Value for numbers
... // do the same for each data type
)然后您可以利用ClickHouse提供的所有强大的高阶函数来查询数据
SELECT
arrayFilter(x -> ((x.1) = 1), arrayMap((x, y) -> (x LIKE 'data.rides.%.km', y), attribute_number.name, attribute_number.value)).2 AS element,
event_date
FROM custom_events
WHERE (event_id = 1) AND notEmpty(element)这个查询没有意义,因为我对字段进行了一些编辑,但是您可以理解它的意思。这样,您不需要修改您的模式,并且可以在ClickHouse中存储任何具有相同fix模式的任意JSON模式。
https://stackoverflow.com/questions/58341142
复制相似问题