- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据杂货铺
Kafka运维篇之使用SMM监控Kafka集群复制
继之前《Kafka运维篇之初识Streams Messaging Manager》、《Kafka运维篇之使用SMM监控Kafka集群》和《Kafka运维篇之使用SMM预警策略管理Kafka预警》之后。 您可以在SMM中监视Kafka集群复制的状态，与复制关联的Topic数，吞吐量，复制延迟以及Kafka集群复制的检查点延迟。 表示集群复制面临问题。 如果Kafka集群复制的状态显示为非活动或警告，请检查日志，并对复制进行故障排除。 监视集群复制的吞吐量 您可以在SMM中监视Kafka集群复制的吞吐量。 吞吐量定义为每秒在源集群和目标集群之间复制的数据。吞吐量以每秒字节数为单位。 ? 监视集群复制的检查点延迟 您可以在SMM中监视Kafka集群复制的检查点延迟。 检查点等待时间定义为Topic消息在源集群上提交后，在目标集群上到达目标集群的检查点所花费的时间。
1.4K10发布于 2020-02-11 - 来自专栏kafka专栏
【kafka运维】TopicCommand-Kafka运维脚本(1)
[在这里插入图片描述] 日常运维 问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 TopicCommand 1.Topic创建 bin/kafka-topics.sh kafka集群; --zookeeper localhost:2181 或者localhost:2181/kafka --replication-factor 副本数量,注意不能大于broker数量;如果不提供 ,则会用集群中默认配置 --replication-factor 3 --partitions 分区数量,当创建或者修改topic的时候,用这个来指定分区数;如果创建的时候没有提供参数,则用集群中默认值 --partitions 2 kafka版本 >= 2.2 支持下面方式（推荐） 单个Topic扩容 bin/kafka-topics.sh --bootstrap-server broker_host 欢迎Star和共建由滴滴开源的kafka的管理平台 满足所有开发运维日常需求 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台
1.5K50发布于 2021-07-15 - 来自专栏kafka专栏
【kafka运维】TopicCommand-Kafka运维脚本(1)
3 --partitions 3 --topic test ---- 相关可选参数 参数 描述 例子 --bootstrap-server 指定kafka服务 指定连接到的kafka服务; 如果有这个参数 ,则 --zookeeper可以不需要 –bootstrap-server localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到kafka集群; –zookeeper localhost:2181 或者localhost:2181/kafka --replication-factor 副本数量,注意不能大于broker数量;如果不提供,则会用集群中默认配置 –replication-factor 3 --partitions 分区数量,当创建或者修改topic的时候,用这个来指定分区数;如果创建的时候没有提供参数,则用集群中默认值; 注意如果是修改的时候,分区比之前小会有问题 –partitions --partitions 2 kafka版本 >= 2.2 支持下面方式（推荐） 单个Topic扩容 bin/kafka-topics.sh --bootstrap-server broker_host
1.1K11发布于 2021-07-16 - 来自专栏kafka专栏
【kafka运维】ConfigCommand运维脚本
查询配置 Topic配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 broker-loggers 查询指定Broker的Logger相关配置 查询kafka 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 ; 1 查询配置 Topic配置查询 展示关于Topic的动静态配置 1.1.查询单个Topic配置(只列举动态配置) sh bin/kafka-configs.sh --describe -describe --bootstrap-server xxxx:9090 --entity-type broker-loggers --entity-name 想要查询的BrokerID 查询kafka 版本信息 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件
3.2K10编辑于 2022-04-13 - 来自专栏kafka专栏
【kafka运维】Leader重新选举运维脚本
文章目录 kafka-leader-election Leader重新选举 kafka-leader-election Leader重新选举 1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举 > sh bin/kafka-leader-election.sh --bootstrap-server xxxx:9090 --topic test_create_topic4 --election-type PREFERRED --partition 0 2 所有Topic所有分区用重新PREFERRED：优先副本策略 进行Leader重选举 sh bin/kafka-leader-election.sh partition": 1 }, { "topic": "test_create_topic4", "partition": 2 } ] } sh bin/kafka-leader-election.sh
3.9K40编辑于 2021-12-31 - 来自专栏云优惠券
Hadoop集群运维
3.2、datanode down后，hadoop集群的容错处理 模拟datanode进程down故障，观察hadoop集群的容错处理： 首先hadoop集群不会马上认定datanode已经dead， 集群在10分30秒后确认datanode进程dead之后，会将该dead节点上的block切换为missing状态，集群的容错机制将开始把missing的block在其他datanode上重新生成。 线上集群未配置采用默认值。 注：这部分请参考spark on yarn故障运维https://blog.csdn.net/qq_35488412/article/details/91041983 1.1 磁盘故障对yarn nodemanager 场景4部分：具体细节请参见：spark on yarn故障运维：https://blog.csdn.net/qq_35488412/article/details/91041983 相关资料参考: NameNode
2K10发布于 2019-06-20 - 来自专栏大数据成神之路
Kafka运维小贴士 | Kafka 消息监控
这个业务场景需要将mysql的binlog数据发送到kafka，然后订阅kafka并消费其中的binlog数据以实现实时加速查询。 kafka-consumer-groups kafka-consumer-groups.sh是kafka自带的工具，它位于kafka安装目录的bin目录下，它不需要额外下载安装，使用起来非常方便 通过如下命令 ，我们可以查看kafka的所有消费组 . 从下面地址下载kafka-manager的安装包 http://github.com/yahoo/kafka-manager/releases 解压并进入kafka安装目录，使用sbt进行编译，sbt需要配置源 /kafka-manager命令，kafka默认端口是9000，进入管理页面之后配置kafka节点相关信息，就能监控kafka运行情况 如下是kafka-manager的管理界面 查看所有的消费组 ?
2.5K21发布于 2020-09-25 - 来自专栏实时计算
Kafka运维命令大全
1、集群管理 前台启动broker bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path>/server.properties 关闭broker bin/kafka-server-stop.sh 2、Topic管理 创建topic bin/kafka-topics.sh 管理 查询消费者组 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list 查询消费者组详情 bin/kafka-consumer-groups.sh kafka-run-class.sh kafka.tools.ConsoleConsumer 就是 kafka-console-consumer.sh kafka-run-class.sh kafka.tools.ConsoleProducer 就是 kafka-console-producer.sh 获取topic当前消息数 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list
62210发布于 2019-09-29 - 来自专栏实时流式计算
Kafka运维命令大全
1、集群管理 前台启动broker bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path>/server.properties 关闭broker bin/kafka-server-stop.sh 2、Topic管理 创建topic bin/kafka-topics.sh 管理 查询消费者组 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list 查询消费者组详情 bin/kafka-consumer-groups.sh kafka-run-class.sh kafka.tools.ConsoleConsumer 就是 kafka-console-consumer.sh kafka-run-class.sh kafka.tools.ConsoleProducer 就是 kafka-console-producer.sh 获取topic当前消息数 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list
1.3K20发布于 2019-09-17 - 来自专栏kafka专栏
【kafka运维】ConfigCommand运维脚本(2)
文章目录 ConfigCommand 1 查询配置 Topic配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 查询kafka版本信息 2 增删改 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 ; 1 查询配置 Topic配置查询 展示关于Topic的动静态配置 1.1.查询单个Topic配置(只列举动态配置) sh bin/kafka-configs.sh --describe 版本信息 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 专栏持续更新中…(源码、原理、实战、运维、视频、面试视频)
1.7K30发布于 2021-08-03 - 来自专栏后端进阶
Kafka 常用运维脚本
集群管理 （1）启动 broker $ bin/kafka-server-start.sh daemon <path>/server.properties （2）关闭 broker $ bin/kafka-server-stop.sh topic 管理 kafka-topics.sh 脚本 # 创建主题 $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions consumer 相关管理 （1）查询消费组 kafka-consumer-groups.sh $ bin/kafka-consumer-groups.sh --bootstrap-server localhost （2）kafka-console-consumer.sh $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9200 --topic --broker-list localhost:9200 --topic test --time -2 # 以上两个数相减，即可得出 topic 当前在集群的消息总数
1.6K20发布于 2020-08-27 - 来自专栏kafka专栏
Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
集群列表 集群运维 迁移任务 手动迁移过程实现 数据迁移的几个注意点 Logi-KafkaManager 实现数据迁移 集群任务 版本管理 平台管理 专栏文章列表 项目地址: didi/Logi-KafkaManager : 一站式Apache Kafka集群指标监控与运维管控平台 运维管控 运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的; 集群列表 Kafka的灵魂伴侣Logi-KafkaManger三之运维管控 –集群列表 集群运维 迁移任务 kafka的迁移场景, 一般有同集群数据迁移、跨集群数据迁移; 我们这里主要讲 同集群数据迁移; 同集群之间数据迁移，比如在已有的集群中新增了一个Broker节点，此时需要将原来集群中已有的 平台管理 Kafka的灵魂伴侣Logi-KafkaManger(5)之运维管控–平台管理(用户管理和平台配置) 专栏文章列表 Kafka的灵魂伴侣Logi-KafkaManger一之集群的接入及相关概念讲解 Kafka的灵魂伴侣Logi-KafkaManger二之kafka针对Topic粒度的配额管理(限流) Kafka的灵魂伴侣Logi-KafkaManger三之运维管控–集群列表 ---- 欢迎 Star
58530发布于 2021-07-14 - 来自专栏kafka专栏
【kafka运维】TopicCommand运维脚本(1)
文章目录 TopicCommand 1.Topic创建 2.删除Topic 3.Topic分区扩容 4.查询Topic描述 5.查询Topic列表 More 日常运维 问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 TopicCommand 1.Topic创建 bin/kafka-topics.sh --create --bootstrap-server localhost kafka集群; –zookeeper localhost:2181 或者localhost:2181/kafka --replication-factor 副本数量,注意不能大于broker数量;如果不提供 ,则会用集群中默认配置 –replication-factor 3 --partitions 分区数量,当创建或者修改topic的时候,用这个来指定分区数;如果创建的时候没有提供参数,则用集群中默认值; 4 批量扩容 (将所有正则表达式匹配到的Topic分区扩容到4个) sh bin/kafka-topics.sh --topic ".*?"
89820编辑于 2022-04-13 - 来自专栏开源部署
Hadoop集群日常运维
（二）数据备份 对于重要的数据，不能完全依赖HDFS，而是需要进行备份，注意以下几点 （1）尽量异地备份 （2）如果使用distcp备份至另一个hdfs集群，则不要使用同一版本的hadoop，避免hadoop 08,028 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 under utilized nodes: （2）均衡器将每个DN的使用率与整个集群的使用率接近
1.5K20编辑于 2022-07-04 - 来自专栏散尽浮华
MongoDB集群运维笔记
前面的文章介绍了MongoDB副本集和分片集群的做法，下面对MongoDB集群的日常维护操作进行小总结： MongDB副本集故障转移功能得益于它的选举机制。 MongoDB集群最多12个副本集节点，是因为没必要一份数据复制那么多份，备份太多反而增加了网络负载和拖慢了集群性能；而最多7个节点参与选举是因为内部选举机制 节点数量太多就会导致1分钟内还选不出主节点 2）MongoDB心跳 整个MongoDB集群需要保持一定的通信才能知道哪些节点活着哪些节点挂掉。 就算挂掉其中一台，只要还有存货， mongodb集群就不会挂掉。 shard，这就是传说中的分片了。 因为只有Primary才能接收Writes的操作，所以Primary在一个mongoDB的集群中是必须的。
5K101发布于 2018-01-23 - 来自专栏数据库相关
kafka运维之broker扩容
背景： 最近公司的3节点kafka集群，发现有2个节点所在的刀箱交换机有故障风险，会随机性的出现端口up/down的情况。 节点的扩容： 1、node4 (192.168.2.190)上修改: mkdir -pv /usr/local/kafka-default/kafka-logs vim /usr/local/kafka-default 程序： /usr/local/kafka-default/bin/kafka-server-start.sh -daemon /usr/local/kafka-default/config/server.properties 3、node5(192.168.2.191)上修改 mkdir -pv /usr/local/kafka-default/kafka-logs vim /usr/local/kafka-default 5、测试是否有问题 这里我们可以自己先用 kafka-console-producer.sh 和 kafka-console-consumer.sh 自测下是否 正常工作，然后看看 kafka-manager
92920发布于 2019-09-17 - 来自专栏大数据成神之路
Kafka的运维利器-AdminClient
前言 一般情况下，我们都习惯使用kafka-topics.sh脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用 配置参数管理：包括 Kafka 各种资源的参数设置、详情查询。所谓的 Kafka 资源，主要有 Broker、主题、用户、Client-id 等。 使用 如果你使用的是 Maven，需要增加以下依赖项： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients get(); // 关闭资源 adminClient.close(); } 社区于 0.11 版本正式推出了 Java 客户端版的 AdminClient 工具，该工具提供了几十种运维操作 如果可以的话，你最好统一使用 AdminClient 来执行各种 Kafka 集群管理操作，摒弃掉连接 ZooKeeper 的那些工具。
2.3K30发布于 2021-11-18 - 来自专栏运维小路
Kafka-日常运维命令
对于运维来说，一个正常的Kafka的集群，一般情况下我们是不需要去操作ZooKeeper来维护它的集群状态的。 我们对Kafka的操作，大部分都通过Kafka自带的脚本来操作它，下面我们就来介绍下使用较多的命令。（部分命令在前面的操作里面已经有演示）。 用途：管理 Kafka 的访问控制列表（ACL）。 User:<user> --consumer --topic <topic_name> --group <group_id> 二、集群管理命令 1. kafka-server-start.sh（启动 , kafka-console-consumer.sh, kafka-consumer-groups.sh, kafka-configs.sh, kafka-server-start.sh.
41510编辑于 2025-06-08 - 来自专栏kafka专栏
【kafka运维】Leader重新选举运维脚本(4)
文章目录 kafka-leader-election Leader重新选举 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 kafka-leader-election Leader重新选举 1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举 > sh bin/kafka-leader-election.sh --bootstrap-server preferred --path-to-json-file config/leader-election.json ---- 相关可选参数 参数 描述 例子 --bootstrap-server 指定kafka 服务 指定连接到的kafka服务 –bootstrap-server localhost:9092 --topic 指定Topic，此参数跟--all-topic-partitions和path-to-json-file 专栏持续更新中…(源码、原理、实战、运维、视频、面试视频)
48820发布于 2021-08-05 - 来自专栏分布式系统进阶
Kafka运维填坑Kafka源码分析-汇总
前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处 timeout时间, 不能完全解决,但会改善很多; 深究: 目前用的kafka集群还是相对比较稳定, 但是这个zk超时问题真是百思不得其解啊. Partition leader上去同步数据 现象: 集群里若干台机器先后磁盘空间报警, 经查是kafka log占用大量磁盘空间,接着看log, 里面有大量的 WARN [Replica Manager leader上去同步数据了, 这理论上不应该啊; 之前每个集群因硬件原因挂掉了一台机器, 然后想删掉上面的一个partiton, 但因为kafka本身不支持partiton的删除, 就在zk上的/brokers 相关节点内容; 考虑在kafka源码里加个delete partition的功能, 这个不会太难; __consumer_offsets日志无法被清除 现象: 集群中若干台机器磁盘空间报警, 上去查看是
2.5K00发布于 2018-09-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号