=1000 //创建topic 创建一个"test"的topic,一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor beginning //创建topic 创建一个"test"的topic,一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor test //创建topic 创建一个"test"的topic,一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor
zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DB-BUSSINESS-DATA --partitions 3 --replication-factor kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-ODS-TOPIC --partitions 3 --replication-factor kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DIM-TOPIC --partitions 3 --replication-factor zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWD-USER-LOGIN-TOPIC --partitions 3 --replication-factor node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWS-USER-LOGIN-WIDE-TOPIC --partitions 3 --replication-factor
--zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-USER-LOG-DATA --partitions 3 --replication-factor zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DB-BUSSINESS-DATA --partitions 3 --replication-factor kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-ODS-TOPIC --partitions 3 --replication-factor zookeeper node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWD-BROWSE-LOG-TOPIC --partitions 3 --replication-factor node3:2181,node4:2181,node5:2181 --create --topic KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC --partitions 3 --replication-factor
list --zookeeper hadoop-001:2181 //创建topic名 kafka-topics.sh --create --zookeeper hadoop-001:2181 --replication-factor list --zookeeper hadoop-001:2181 // 创建topic kafka-topics.sh --create --zookeeper hadoop-001:2181 --replication-factor 3 --partitions 1 --topic first /* 选项说明: --topic 定义topic名 --replication-factor 定义副本数 --partitions
##################### kafka-topics.sh –create –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 –replication-factor 10 –topic kafka_test kafka-topics.sh –create –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 –replication-factor kafka topic –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 指定kafka的zookeeper地址 –partitions 指定分区的个数 –replication-factor kafka-topics.sh –alter –zookeeper hdp02:2181, hdp03:2181, hdp01:2181 –topic kafka_test –replication-factor
–replication-factor<Integer: replication factor> 设置分区副本。 –config <String: name=value> 更新系统默认的配置。 9092 --list 3)创建 first topic bin/kafka-topics.sh --bootstrap-server ip:9092 --create --partitions 1 --replication-factor 3 --topic first 选项说明: topic 定义 topic 名 replication-factor 定义副本数 partitions 定义分区数 4)查看 first
CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic first_3_3 image.png 本地测试只有3台broker,所以最多只能创建3个replication-factor 2.3 删除主题
/kafka-topics.sh --zookeeper ip:2181 -create --topic my_topic --partitions 4 --replication-factor 1 线上环境将自动创建topic禁用掉,改为手动创建(auto.create.topics.enable=false),partitions和replication-factor是两个必备选项, 第一个参数是消息并行度的一个重要参数 replication-factor参数用来指定需要多少个副本(连同leader在内),一般比较推荐设置为2或3。如果设置太少(比如1)导致可用性下降, 如果设置太大会影响Kafka的性能。
三、创建topic replication-factor为1 partitions为1 > bin/kafka-topics.sh --create --bootstrap-server localhost :9092 --replication-factor 1 --partitions 1 --topic test 查看topic > bin/kafka-topics.sh --list --bootstrap-server broker.id是唯一的 cluster中每一个node的名字 我们在same machine上 所有要设置listeners和log.dirs 以防冲突 建一个topic 一个partitions 三个replication-factor > bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions input topic output topic > bin/kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --replication-factor
Topic管理 创建topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions 3 --replication-factor localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到kafka集群; –zookeeper localhost:2181 或者localhost:2181/kafka --replication-factor 副本数量,注意不能大于broker数量;如果不提供,则会用集群中默认配置 –replication-factor 3 --partitions 分区数量,当创建或者修改topic的时候,用这个来指定分区数
/kafka-topics.sh –zookeeper ip:2181 -create –topic my_topic –partitions 4 –replication-factor 1 线上环境将自动创建 topic禁用掉,改为手动创建(auto.create.topics.enable=false),partitions和replication-factor是两个必备选项, 第一个参数是消息并行度的一个重要参数 replication-factor参数用来指定需要多少个副本(连同leader在内),一般比较推荐设置为2或3。如果设置太少(比如1)导致可用性下降, 如果设置太大会影响Kafka的性能。
[hadoop@hadoop01 bin]$ kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03 --replication-factor [hadoop@hadoop01 bin]$ kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03 --replication-factor
config/server.properties & 创建一个主题(topic) #启动kafka客户端,创建一个只有一个分区和一个备份名称为"test"的Topic,partitions分区参数、replication-factor 参数 #Apache Kafka2.8版本之前命令 bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor topic test #Apache Kafka2.8版本之后命令 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor
kafka-server-stop.bat 命令测试消息 Linux 1、创建主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor bootstrap-server localhost:9092 --topic test 5、创建多个分区主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor group test Win 1、创建主题 %KAFKA_HOME%/bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor topic test 5、创建多个分区主题 %KAFKA_HOME%/bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor server.properties 测试 创建一个新的topic,副本数设置为3,分区数设置为2 bin/kafka-topics.sh --create --zookeeper 192.168.10.10:2181 --replication-factor
确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行: kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor -zookeeper”的值也需要带上根目录,否则就会报这个错误,正确做法是: kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor
创建topic [bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --create --replication-factor [bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --create --replication-factor hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --list first 选项说明: –topic 定义topic名 –replication-factor
Kafka操作 创建主题 kafka-topics.bat –create –zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka –replication-factor create 指定创建topic动作 –zookeeper 指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样 –replication-factor
kafka_2.11-2.0.0]$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test replication-factor 副本的个数 partitions 分区数目 /kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1
一、kafka的基本操作1.1、创建topicsh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 broker_id_for_part2_replica2 , ...> --replication-factor sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic 2.3、创建主题创建主题时候,有3个参数是必填的:–partitions(分区数量)、–topic(主题名) 、–replication-factor(复制系数),同时还需使用 --create 参数表明本次操作是想要创建一个主题操作 sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic
命令行操作 一台机器只能拥有一个副本 即replication-factor 增 topic 主题名称,partitions 分区数,replication-factor 备份数 . /kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic first --partitions 2 --replication-factor /kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic heima001 --partitions 2 --replication-factor