首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将具有动态变化模式的事件数据流式传输到ClickHouse

问将具有动态变化模式的事件数据流式传输到ClickHouse
EN

Stack Overflow用户
提问于 2019-10-11 20:19:31
回答 2查看 1.5K关注 0票数 2

我正在评估Clickhouse用于存储具有可变事件模式的流事件。事件模式是嵌套的JSON。新属性可能具有不同的数据类型,因此我们不能创建规范化的键值对。

根据文档,每当模式发生更改时,我们都必须显式地更改表的模式,然后插入新记录。由于插入操作是从多个源工作进程进行的,因此添加'IF NOT EXISTS‘子句可以帮助最小化竞争条件。

有没有人能告诉我们,有没有更好的方法将动态变化的模式插入到Clickhouse中?有没有办法让Clickhouse根据插入的事件来推断更新后的模式?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-10-11 21:31:39

insert上的每一列都需要2MB RAM。

在插入时,1000列表将消耗2 2GB。

每列=~ 3个磁盘上的文件+= 3插入时随机读/写。

Alter table有时会被合并/选择阻塞,并可能被执行数小时。

我会从JSON中选择主列(将在最常使用的地方使用),并将它们放入专用列中。其他列分为K/V -2列(Key Array(String)、Value Array(String))。否则,请使用MongoDb。

票数 3
EN

Stack Overflow用户

发布于 2020-12-30 17:58:40

在ClickHouse中使用支持事件中任何类型的fix模式会怎么样呢?例如,使用嵌套列或JSON列。我在使用嵌套列的PoC中尝试了这一点,结果很好。首先,我确定了4种不同的数据类型:strings、numbers、booleans和dates。

ClickHouse模式将如下所示

代码语言:javascript
复制
CREATE TABLE custom_events
(
    // ... Normal columns needed depending on your use case
    attribute_string Nested
    (
        name String,
        value String
    ),
    attribute_number Nested
    (
        name String,
        value Float32
    ),
    attribute_boolean Nested
    (
        name String,
        value UInt8
    ),
    attribute_date Nested
    (
        name String,
        value Datetime('UTC')
    )
)
ENGINE = MergeTree()
ORDER BY (
   ...
);

嵌套的列将由ClickHouse转换为数组类型的两列。要使用此模式,您需要按类型对事件字段进行分组,并在继续插入到ClickHouse之前将其展平。例如,JSON中的以下事件

代码语言:javascript
复制
{
    "event_id": 1,
    "event_date": "2018-08-02 10:06:23",
    "data": {
        "rides": [
            {
                "km": 93,
                "vehicle": "plane",
                "people": 2.15,
                "finished": true,
                "date": "2019-06-24T18:52:34"
            }
        ]
    }
}

可以像这样变得扁平

代码语言:javascript
复制
{
    "event_id": 1,
    "event_date": "2018-08-02 10:06:23",
    "data.rides.0.km": 93,
    "data.rides.0.vehicle": "plane",
    "data.rides.0.people": 2.15,
    "data.rides.0.finished": true,
    "data.rides.0.date": "2019-06-24T18:52:34"
}

然后你可以像这样插入到ClickHouse中

代码语言:javascript
复制
insert into custom_events VALUES (1, "2018-08-02 10:06:23", 
['data.rides.0.vehicle'], ['plane'], // This is Key and Value for strings
['data.rides.0.km', 'data.rides.0.km'], [93, 2.15] // This is Key and Value for numbers
... // do the same for each data type
)

然后您可以利用ClickHouse提供的所有强大的高阶函数来查询数据

代码语言:javascript
复制
SELECT
    arrayFilter(x -> ((x.1) = 1), arrayMap((x, y) -> (x LIKE 'data.rides.%.km', y), attribute_number.name, attribute_number.value)).2 AS element,
    event_date
FROM custom_events
WHERE (event_id = 1) AND notEmpty(element)

这个查询没有意义,因为我对字段进行了一些编辑,但是您可以理解它的意思。这样,您不需要修改您的模式,并且可以在ClickHouse中存储任何具有相同fix模式的任意JSON模式。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58341142

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档