首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏全栈程序员必看

    linux下搭建kafka集群,linux系统zk+Kafka集群搭建

    下面是3台电脑的配置 主机名 IP地址 硬件配置 kafka-1 192.168.1.42 4CPU、4G内存、128G存储 kafka-2 192.168.1.41 4CPU、4G内存、128G存储 kafka ,在本例中对应关系如下 主机名 IP地址 zookeeper myid kafka-1 192.168.1.42 server.1 1 kafka-2 192.168.1.41 server.2 2 kafka /data/myid #kafka-1主机myid 在kafka-2中执行下面命令 echo “2” > /usr/local/zookeeper/data/myid #kafka-2主机myid 在kafka -3中执行下面命令 echo “3” > /usr/local/zookeeper/data/myid #kafka-3主机myid 在每台电脑上启动zookeeper /usr/local/zookeeper /192.168.1.41:9092 #新增 zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 #新增 在kafka

    6.7K10编辑于 2022-08-12
  • 来自专栏blackpiglet

    OpenStack 上搭建 Kafka 集群

    Kafka 共用统一虚拟机; 三台虚拟机信息: hostname:kafka-1,IP:10.0.0.1,ID:1 hostname:kafka-2,IP:10.0.0.2,ID:2 hostname:kafka $ cat /etc/hosts ...... 10.0.0.1 kafka-1 10.0.0.2 kafka-2 10.0.0.3 kafka-3 1. :3888 #server.3=zookeeper3:2888:3888 server.1=kafka-1:2888:3888 server.2=kafka-2:2888:3888 server.3=kafka myid # on kafka-1 1 $ cat /etc/zookeeper/conf/myid # on kafka-2 2 $ cat /etc/zookeeper/conf/myid # on kafka kafka.security.auth.SimpleAclAuthorizer allow.everyone.if.no.acl.found=true zookeeper.connect=kafka-1:2181,kafka-2:2181,kafka

    1.6K40发布于 2018-10-18
  • 来自专栏大数据最后一公里

    Maxwell 系列(三)—— 使用

    kafka.bootstrap.servers=ip1:port,ip2:port,ip3:port \ --kafka_topic=testdynamic_%{database}_%{table} 测试脚本kafka 静态传参和动态传参 4、静态传参是--kafka_topic=参数值,手动指定的,maxwell会将变化数据发送到指定的topic中 5、动态传参 5.1 动态传参没有前缀 测试脚本kafka

    1.1K50发布于 2021-08-05
  • 来自专栏全栈程序员必看

    kafka集群搭建&zookeeper集群搭建

    =192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181 offsets.topic.replication.factor=3 在kafka

    2.3K20编辑于 2022-06-26
  • 来自专栏大数据学习与分享

    Spark流式状态管理

    尤其是key的维度比较高、value状态比较大的 object StateOperator { private val brokers = "kafka-1:9092,kafka-2:9092,kafka

    1K20发布于 2020-08-10
  • 来自专栏KaliArch

    Kafka-manager部署

    部署 2.1 初始化环境 初始化系统,关闭防火墙修改主机名与ip名称 名称 HOSTNAME IP 1 kafka-1 172.17.10.207 2 kafka-2 172.17.10.208 3 kafka

    1.8K50发布于 2018-06-04
  • 来自专栏云计算与大数据技术

    大数据日志收集框架之Flume实战

    org.apache.flume.sink.kafka.KafkaSink a1.sinks.sink1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka org.apache.flume.channel.kafka.KafkaChannel a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka org.apache.flume.channel.kafka.KafkaChannel a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka

    1.2K20发布于 2021-04-27
  • 来自专栏about云

    flume应该思考的问题

    org.apache.flume.channel.kafka.KafkaChannel a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka

    1.6K110发布于 2018-03-26
  • 来自专栏CSDN技术博客

    在k8s上部署metersphere

    name: kafka-service-3 app: kafka-service-3 spec: containers: - name: kafka

    1.7K21发布于 2021-11-18
  • 来自专栏腾讯云容器服务团队的专栏

    kubernetes 中 kafka 和 zookeeper 有状态集群服务部署实践 (一)

    172.16.2.5 10.0.0.40 kafka-2 1/1 Running 0 1h 172.16.1.5 10.0.0.45 kafka

    20.3K51发布于 2017-07-17
  • 来自专栏大数据成神之路

    基于Kafka+ELK搭建海量日志平台

    logstash.conf input { kafka { type => "kafka" bootstrap_servers => "kafka-1:9092,kafka-2:9092,kafka

    10K33发布于 2019-07-29
  • 来自专栏c++与qt学习

    Kafka入门篇学习笔记整理

    192.168.110.93 kafka-1 broker,controller 2 192.168.110.94 kafka-2 broker,controller 3 192.168.110.94 kafka

    1.7K31编辑于 2023-04-12
领券