首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏我是攻城师

    Kakfa集群搭建

    Consumer指定group name,如果不指定默认属于group (四)Kafka的拓扑架构 (五)Kafka的安装 三台机器+外置Zookeeper集群: 192.168.1.1 kakfa1 zk1 192.168.1.2 kakfa2 zk2 192.168.1.3 kakfa3 zk3 关于zookeeper集群的安装,请参考博客:http://qindongliang.iteye.com 一个例子和kafka基本命令如下: 生产者push数据: 消费者查看数据: kafka在zookeeper上的目录结构: kafka的基本命令介绍: Java代码 //启动一个kakfa-server

    93580发布于 2018-05-14
  • 来自专栏linda

    kakfa学习总结

    KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统;

    44920发布于 2019-06-02
  • 来自专栏小工匠聊架构

    Kakfa - 多副本架构

    Kafka 是一个高性能、分布式的消息系统,被广泛应用于各种场景中。在 Kafka 中,多副本架构是保证数据可靠性的重要手段之一。

    28810编辑于 2023-07-24
  • 来自专栏牛肉圆粉不加葱

    Spark Streaming + Kakfa 编程指北

    本文简述如何结合 Spark Streaming 和 Kakfa 来做实时计算。

    59240发布于 2018-08-24
  • 来自专栏IT技术精选文摘

    Kafka原理篇:图解kakfa架构原理

    今天我们来深入讲解 Kafka 的架构和实现原理。本文将从架构和细节入手,以生动的图深入讲解 Kafka 的实现原理。

    54160编辑于 2021-12-09
  • 来自专栏写代码和思考

    Kakfa 跨数据中心复制方案:MirrorMake

    Kakfa MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。 用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步 背景 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案

    1.1K40发布于 2020-12-08
  • 来自专栏服务端思维

    Kafka原理篇:图解kakfa架构原理

    所以,[码哥]决定图解 Kakfa,却让很多半懂不懂的同学可以加深对 Kafka 实现原理的理解。 Kafka 采用分区副本的方式来保证数据的高可用,每个分区都将建立指定数量的副本数,kakfa 保证同一分区副本尽量分布在不同的 Broker 节点上,以防止 Broker 宕机导致所有副本不可用。

    52010发布于 2021-04-23
  • 来自专栏后端架构师

    Kafka原理篇:图解kakfa架构原理

    所以,[码哥]决定图解 Kakfa,却让很多半懂不懂的同学可以加深对 Kafka 实现原理的理解。 Kafka 采用分区副本的方式来保证数据的高可用,每个分区都将建立指定数量的副本数,kakfa 保证同一分区副本尽量分布在不同的 Broker 节点上,以防止 Broker 宕机导致所有副本不可用。

    88320发布于 2021-04-23
  • 来自专栏北先生

    【Kafka】(三)Mac 上 Kakfa 的初体验

    /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

    1.1K30发布于 2021-08-09
  • 来自专栏JavaEdge

    字节终面:说说Kakfa副本状态机的实现原理?

    ReplicaStateMachine是内部组件,一般用户感觉不到存在,但搞懂它,对从根本定位一些数据不一致问题大有裨益。

    59030编辑于 2022-01-04
  • 来自专栏JetpropelledSnake

    ELK学习笔记之基于kakfa (confluent)搭建ELK

    位置在/root/confluent-4.1.1/下 由于是测试环境,直接用confluent的命令行来启动所有相关服务,发现kakfa启动失败 [root@kafka-logstash bin]# .

    2K10发布于 2019-04-09
  • 来自专栏后端进阶

    kill -9 导致 Kakfa 重启失败的惨痛经历!

    在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,

    1.3K50发布于 2020-09-08
  • 来自专栏JetpropelledSnake

    Kafka学习笔记之Kakfa异常分析-Magic v0 does not support record headers

    KafkaRequestHandler.scala:66) at java.lang.Thread.run(Thread.java:748) 通过错误日志信息结合源码,我们发现,在Broker拉取到Kakfa

    1.6K10发布于 2021-01-14
  • 来自专栏kafka专栏

    比迅雷还猛的kakfa数据迁移,秒传小电影!(附教学视频)

    在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算

    79940发布于 2021-07-28
  • 来自专栏全栈程序员必看

    阿里用什么替代了dubbo_阿里面试必问题:Spring+MyBaits+微服务+Dubbo+Kakfa带解析

    很多同学在群里和我抱怨,面试的时候准备的不充分,导致面试结果不理想,也有很多同学苦于没有一份合适的面试指导。

    97320编辑于 2022-07-22
  • 来自专栏EdisonTalk

    Kafka入门实战教程(10):不再依赖ZooKeeper的KRaft

    19093,3@kafka03:29093listeners=PLAINTEXT://:9092,CONTROLLER://:9093advertised.listeners=PLAINTEXT://kakfa01 :9092log.dirs=/usr/local/modules/kakfa01/logs(2)kafka02process.roles=broker,controllernode.id=2controller.quorum.voters 19093,3@kafka03:29093listeners=PLAINTEXT://:19092,CONTROLLER://:19093advertised.listeners=PLAINTEXT://kakfa02 19093,3@kafka03:29093listeners=PLAINTEXT://:29092,CONTROLLER://:29093advertised.listeners=PLAINTEXT://kakfa03 kafka01/bin/kafka-server-start.sh -daemon /usr/local/modules/kafka01/config/kraft/server.properties# kakfa02

    7.6K20编辑于 2023-05-18
  • 来自专栏crossoverJie

    分享一些 Kafka 消费数据的小经验

    建议对 Kakfa 还比较陌生的朋友可以先看看。 就我的使用经验来说,大部分情况都是处于数据下游的消费者角色。 也用 Kafka 消费过日均过亿的消息(不得不佩服 Kakfa 的设计),本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。 但至于是哪三个呢,这点 Kakfa 会自动帮我们分配好。 看个例子,还在之前的 data-push 这个 Topic,其中有三个分区。 而当新增消费实例或者是消费实例挂掉时 Kakfa 会为我们重新分配消费实例与分区的关系就被称为消费组 Rebalance。 发生这个的前提条件一般有以下几个: 消费组中新增消费实例。

    50520编辑于 2022-10-27
  • 来自专栏WalkingCloud

    CentOS7下简单搭建zookeeper+kafka集群

    配置互信 ssh-keygen ssh-copy-id root@node2 ssh-copy-id root@node3 如果有必要的话,三台机器间两两互信 3、提前下载JDK,zookeeper,kakfa zookeeper zkServer.sh start 查看状态zkServer.sh status 可以看到node1和node2为follower node3为leader 四、三个节点均安装kafka,配置kakfa kafka_2.13-2.5.0 kafka cd kafka cd config cp server.properties server.properties_default 2、创建data目录 3、修改kakfa source /etc/profile 6、三个节点启动kafka kafka-server-start.sh /opt/kafka/config/server.properties 先前台的方式启动kakfa-server

    2K50发布于 2020-04-27
  • 来自专栏kafka专栏

    Kafka的灵魂伴侣Logi-KafkaManger(1)之集群的接入及相关概念讲解

    滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 ---- 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdlmn_ 进群(备注:进群) 群里面主要交流 kakfa 等等相关技术; 群内有专人解答你的问题 对~ 相关技术领域的解答人员都有; 你问的问题都会得到回应 有想进 滴滴LogI开源用户群 的加我个人微信: jjdlmn_ 进群(备注:进群) 群里面主要交流 kakfa

    36350发布于 2021-07-14
  • 来自专栏萝卜大杂烩

    分享一些 Kafka 消费数据的小经验

    建议对 Kakfa 还比较陌生的朋友可以先看看。 就我的使用经验来说,大部分情况都是处于数据下游的消费者角色。 也用 Kafka 消费过日均过亿的消息(不得不佩服 Kakfa 的设计),本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。 但至于是哪三个呢,这点 Kakfa 会自动帮我们分配好。 看个例子,还在之前的 data-push 这个 Topic,其中有三个分区。 而当新增消费实例或者是消费实例挂掉时 Kakfa 会为我们重新分配消费实例与分区的关系就被称为消费组 Rebalance。 发生这个的前提条件一般有以下几个: 消费组中新增消费实例。

    69330发布于 2019-07-17
领券