首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Kafka流时如何生成消息id?

问使用Kafka流时如何生成消息id?
EN

Stack Overflow用户
提问于 2017-11-22 16:25:20
回答 1查看 2.8K关注 0票数 3

我想尝试一下,在阅读了许多confluent kafka中的手工艺品后,实现一个正常的聊天系统。但是我在做一些结构设计的时候遇到了一些问题。当使用mysql作为我的数据数据库时,我可以为每一条有意义的消息赋予id,比如用户表中的user_id,消息表中的message_id。在模型表中有了id后,客户端和服务器端的通信变得非常方便。但是在Kafka stream中,我如何在KTable中给每个有意义的模型一个唯一的id呢?或者我真的有必要这么做吗?

EN

回答 1

Stack Overflow用户

发布于 2017-11-23 10:22:28

也许我可以自己回答这个问题。

在mysql中,我们可以直接使用sequenceId,因为所有数据都会转到一个地方,然后自动分配一个新的id。但是当表变得太大时,我们也需要将表拆分为几个小的tables.In,在这种情况下,我们还应该为每条记录重新生成唯一的id,因为自动生成的id在这些表中是从0开始的。

也许在卡夫卡中也是如此。当我们在kafka中只有一个分区时,我们也可以使用kafka生成的id,因为所有的消息都只会去一个地方,所以它们永远不会被复制。但是当我们想要更多的分区时,我们还必须注意这些从不同分区生成的id不是全局唯一的。

所以我们应该做的是为我们自己生成id。UUID是一种快速的方法,但是我们想要一个数字,我们可以使用一个小算法来实现。也许在分布式环境中使用这样的结构:

nodeid+threadId+current_time+auto_increased_number

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47429901

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档