我想尝试一下,在阅读了许多confluent kafka中的手工艺品后,实现一个正常的聊天系统。但是我在做一些结构设计的时候遇到了一些问题。当使用mysql作为我的数据数据库时,我可以为每一条有意义的消息赋予id,比如用户表中的user_id,消息表中的message_id。在模型表中有了id后,客户端和服务器端的通信变得非常方便。但是在Kafka stream中,我如何在KTable中给每个有意义的模型一个唯一的id呢?或者我真的有必要这么做吗?
发布于 2017-11-23 10:22:28
也许我可以自己回答这个问题。
在mysql中,我们可以直接使用sequenceId,因为所有数据都会转到一个地方,然后自动分配一个新的id。但是当表变得太大时,我们也需要将表拆分为几个小的tables.In,在这种情况下,我们还应该为每条记录重新生成唯一的id,因为自动生成的id在这些表中是从0开始的。
也许在卡夫卡中也是如此。当我们在kafka中只有一个分区时,我们也可以使用kafka生成的id,因为所有的消息都只会去一个地方,所以它们永远不会被复制。但是当我们想要更多的分区时,我们还必须注意这些从不同分区生成的id不是全局唯一的。
所以我们应该做的是为我们自己生成id。UUID是一种快速的方法,但是我们想要一个数字,我们可以使用一个小算法来实现。也许在分布式环境中使用这样的结构:
nodeid+threadId+current_time+auto_increased_number
https://stackoverflow.com/questions/47429901
复制相似问题