首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏问天丶天问

    Kafka操作

    =1000 //创建topic 创建一个"test"的topic,一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor beginning //创建topic 创建一个"test"的topic,一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor test //创建topic 创建一个"test"的topic,一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor

    52650发布于 2018-06-19
  • 来自专栏Lansonli技术博客

    湖仓一体电商项目(十四):实时任务执行流程

    zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DB-BUSSINESS-DATA --partitions 3 --replication-factor kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-ODS-TOPIC --partitions 3 --replication-factor kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DIM-TOPIC --partitions 3 --replication-factor zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWD-USER-LOGIN-TOPIC --partitions 3 --replication-factor node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWS-USER-LOGIN-WIDE-TOPIC --partitions 3 --replication-factor

    36451编辑于 2022-09-13
  • 来自专栏Lansonli技术博客

    湖仓一体电商项目(二十二):实时任务执行流程

    --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-USER-LOG-DATA --partitions 3 --replication-factor zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DB-BUSSINESS-DATA --partitions 3 --replication-factor kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-ODS-TOPIC --partitions 3 --replication-factor zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWD-BROWSE-LOG-TOPIC --partitions 3 --replication-factor node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC --partitions 3 --replication-factor

    491102编辑于 2022-10-25
  • 来自专栏JetpropelledSnake

    Kafka学习笔记之Kafka命令行操作topic+producer+consumer详解

    list --zookeeper hadoop-001:2181 //创建topic名 kafka-topics.sh --create --zookeeper hadoop-001:2181 --replication-factor list --zookeeper hadoop-001:2181 // 创建topic kafka-topics.sh --create --zookeeper hadoop-001:2181 --replication-factor 3 --partitions 1 --topic first /* 选项说明: --topic 定义topic名 --replication-factor 定义副本数 --partitions

    59710发布于 2021-01-14
  • 来自专栏全栈程序员必看

    笔记之kafuka「建议收藏」

    ##################### kafka-topics.sh –create –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 –replication-factor 10 –topic kafka_test kafka-topics.sh –create –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 –replication-factor kafka topic –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 指定kafka的zookeeper地址 –partitions 指定分区的个数 –replication-factor kafka-topics.sh –alter –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 –topic kafka_test –replication-factor

    60210编辑于 2022-06-27
  • 来自专栏SpringBoot教程

    Kafka快速入门(命令行操作)

    replication-factor<Integer: replication factor> 设置分区副本。 –config <String: name=value> 更新系统默认的配置。 9092 --list 3)创建 first topic bin/kafka-topics.sh --bootstrap-server ip:9092 --create --partitions 1 --replication-factor 3 --topic first 选项说明: topic 定义 topic 名 replication-factor 定义副本数 partitions 定义分区数 4)查看 first

    1.7K50编辑于 2023-02-16
  • 来自专栏正则

    Kafka QUICKSTART

    CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic first_3_3 image.png 本地测试只有3台broker,所以最多只能创建3个replication-factor 2.3 删除主题

    60721编辑于 2022-04-11
  • kafka删除topic方式

    /kafka-topics.sh --zookeeper ip:2181 -create --topic my_topic --partitions 4 --replication-factor 1 线上环境将自动创建topic禁用掉,改为手动创建(auto.create.topics.enable=false),partitions和replication-factor是两个必备选项, 第一个参数是消息并行度的一个重要参数 replication-factor参数用来指定需要多少个副本(连同leader在内),一般比较推荐设置为2或3。如果设置太少(比如1)导致可用性下降, 如果设置太大会影响Kafka的性能。

    23010编辑于 2025-12-23
  • 来自专栏实时计算

    Kafka学习(一)-------- Quickstart

    三、创建topic replication-factor为1 partitions为1 > bin/kafka-topics.sh --create --bootstrap-server localhost :9092 --replication-factor 1 --partitions 1 --topic test 查看topic > bin/kafka-topics.sh --list --bootstrap-server broker.id是唯一的 cluster中每一个node的名字 我们在same machine上 所有要设置listeners和log.dirs 以防冲突 建一个topic 一个partitions 三个replication-factor > bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions input topic output topic > bin/kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --replication-factor

    72220发布于 2019-08-08
  • 来自专栏pandacode_cn

    Kafka 命令记录

    Topic管理 创建topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions 3 --replication-factor localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到kafka集群; –zookeeper localhost:2181 或者localhost:2181/kafka --replication-factor 副本数量,注意不能大于broker数量;如果不提供,则会用集群中默认配置 –replication-factor 3 --partitions 分区数量,当创建或者修改topic的时候,用这个来指定分区数

    29400编辑于 2023-07-17
  • 来自专栏全栈程序员必看

    kafka删除topic方式

    /kafka-topics.sh –zookeeper ip:2181 -create –topic my_topic –partitions 4 –replication-factor 1 线上环境将自动创建 topic禁用掉,改为手动创建(auto.create.topics.enable=false),partitions和replication-factor是两个必备选项, 第一个参数是消息并行度的一个重要参数 replication-factor参数用来指定需要多少个副本(连同leader在内),一般比较推荐设置为2或3。如果设置太少(比如1)导致可用性下降, 如果设置太大会影响Kafka的性能。

    2.7K130编辑于 2022-11-02
  • 来自专栏程序萌部落

    Kafka初使用

    [hadoop@hadoop01 bin]$ kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03 --replication-factor [hadoop@hadoop01 bin]$ kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03 --replication-factor

    36320发布于 2019-08-08
  • 来自专栏友儿

    kafka安装使用

    config/server.properties & 创建一个主题(topic) #启动kafka客户端,创建一个只有一个分区和一个备份名称为"test"的Topic,partitions分区参数、replication-factor 参数 #Apache Kafka2.8版本之前命令 bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor topic test #Apache Kafka2.8版本之后命令 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor

    74120编辑于 2022-09-13
  • 来自专栏码客

    大数据环境搭建-Kafka及Zookeeper

    kafka-server-stop.bat 命令测试消息 Linux 1、创建主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor bootstrap-server localhost:9092 --topic test 5、创建多个分区主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor group test Win 1、创建主题 %KAFKA_HOME%/bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor topic test 5、创建多个分区主题 %KAFKA_HOME%/bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor server.properties 测试 创建一个新的topic,副本数设置为3,分区数设置为2 bin/kafka-topics.sh --create --zookeeper 192.168.10.10:2181 --replication-factor

    81030编辑于 2022-05-25
  • 来自专栏蓝天

    Kafka错误“Network is unreachable”和“larger than available brokers”

    确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行: kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor -zookeeper”的值也需要带上根目录,否则就会报这个错误,正确做法是: kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor

    1.1K30发布于 2018-08-02
  • 来自专栏不温卜火

    Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作

    创建topic [bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --create --replication-factor [bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --create --replication-factor hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --list first 选项说明: –topic 定义topic名 –replication-factor

    91510发布于 2020-10-28
  • 来自专栏武培轩的专栏

    搭建Kafka集群

    Kafka操作 创建主题 kafka-topics.bat –create –zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka –replication-factor create 指定创建topic动作 –zookeeper 指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样 –replication-factor

    1.1K30发布于 2019-08-31
  • 来自专栏专注研发

    kafka安装与测试

             kafka_2.11-2.0.0]$ bin/kafka-topics.sh  --create --zookeeper localhost:2181                  --replication-factor 1 --partitions 1 --topic test              replication-factor 副本的个数              partitions 分区数目              /kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1

    1.9K10发布于 2018-09-21
  • 来自专栏后端开发技术

    掌握Kafka的topics:使用kafka-topics.sh的综合指南

    一、kafka的基本操作1.1、创建topicsh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 broker_id_for_part2_replica2 , ...> --replication-factor sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic 2.3、创建主题创建主题时候,有3个参数是必填的:–partitions(分区数量)、–topic(主题名) 、–replication-factor(复制系数),同时还需使用 --create 参数表明本次操作是想要创建一个主题操作 sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic

    1.6K00编辑于 2025-01-17
  • 来自专栏Java实战博客

    Apache Kafka 消息队列

    命令行操作 一台机器只能拥有一个副本 即replication-factor 增 topic 主题名称,partitions 分区数,replication-factor 备份数 . /kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic first --partitions 2 --replication-factor /kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic heima001 --partitions 2 --replication-factor

    92610编辑于 2022-01-19
领券