Kafka集群突破百万partition的技术探索
前言
对于小业务量的业务,往往多个业务共享kafka集群,随着业务规模的增长需要不停的增加topic或者是在原topic的基础上扩容partition数,另外一些后来大体量的业务在试水阶段也可能不会部署独立的集群,当业务规模爆发时,需要迅速扩容扩容集群节点。在不牺牲稳定性的前提下单集群规模有限,常常会碰到业务体量变大后无法在原集群上直接进行扩容,只能让业务创建新的集群来支撑新增的业务量,这时用户面临系统变更的成本,有时由于业务关联的原因,集群分开后涉及到业务部署方案的改变,很难短时间解决。
为了...