- 综合排序
- 最热优先
- 最新优先
- 来自专栏sktj
zookeeper 运维经验
去哪儿网也在很多场景依赖Zookeeper，所以我们也一直在摸索怎么更好的运维稳定的Zookeeper集群。在过去的几年我们也踩过一些坑，也因为Zookeeper导致了故障。 现在将我们运维Zookeeper集群的一些经验分享，也欢迎大家提供更好的建议。 那么在打算运维一套Zookeeper集群之前，我们先了解一些Zookeeper的基本原理。 3. 分Group，保护核心Group 要确保Zookeeper整个集群可靠运行，就是要确保投票集群可靠。 .2=zk2:2801:3801 server.3=zk3:2801:3801 这样在需要迁移的时候，我们停老的节点，起新的节点只需要修改hosts映射就可以了。 比如现在server.3需要迁移，那我们在hosts里将zk3映射到新的ip地址。
61410编辑于 2022-05-20 - 来自专栏有文化的技术人
Zookeeper运维实践经验
例如，我们有1、2、3、4、5、6、7七个节点。 接上面的例子，我们做如下配置: weight.1=3 weight.2=1 weight.3=1 weight.4=1 weight.5=1 weight.6=1 weight.7=1 此时Group1 的法定数是：3+1+1=5，只要节点权重之和过半该组就是稳定的。 也就是说，该组中，节点1（权重是3）只要存活,该组就是稳定的. 经过以上配置,停掉节点2，3，4，5，6整个集群仍然是稳定的. 此时Group1和Group3是稳定状态. 在弹出的界面选择“远程进程”，输入“服务器IP:9991”(zookeeper服务器的IP和端口) 实践经验 分Group 要确保Zookeeper整个集群可靠运行，就是要确保投票集群可靠。
1.8K30编辑于 2022-10-27 - 来自专栏万亿日志之道
日志系统Kafka运维的经验
背景介绍： 从事日志系统的开发运维1年多了，Kafka集群一直是系统中最重要的集群之一。及时有效地处理Kafka问题，是保障系统运行稳定的重要工作。 3：在故障机器停机后，创建新的Topic替换旧的Topic（新的Topic所有partition都落在正常的机器上） 4：可以使用kafka reassign partitions工具，将故障机器上的partition 问题3：消费积压 消费积压是常见的问题，数据量增长，晚高峰，都可能导致数据积压，需要收集到积压数据，关注积压量，在业务上半段是否需要扩容消费端。 （二）Kafka监控 image.png 在运维kafka系统的过程中，我们根据业务的特点，为了能及时发现上述问题，对所有的集群进行了如下方面的监控： 1，生产者offset变化监控（partition 3，消费滞后（group id） 检测所有消费者的消费滞后（LAG）情况，超过一定的积压值，进行告警，需要进行相关的业务分析和扩容。
4.1K11发布于 2020-03-15 - 来自专栏kafka专栏
3.【kafka运维】Topic的生产和发送运维脚本(3)
Topic的消费kafka-console-consumer.sh More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter More Kafka专栏持续更新中…(源码、原理、实战、运维
72220发布于 2021-08-03 - 来自专栏蓝鲸智云
运维老司机：问题排查经验总结
（发布变更、监控处理、数值调整、数据提取等）的无人值守服务，而且还给运维人员提供了解决方案（工具），并随时调整，避免重复性的操作服务。 其实做运维练就的是一种心态，足够淡定遇事而不乱，从容应对才是真。 排查出问题并找到根本原因加以解决，个人认为是一件很成就感的事情。曾经有人问过我：“你是怎么想到问题出现在xxx的？ 八、总结记录，破案归档 好记性不如烂笔头，然而在一片混乱问题分析当中，让运维心平气和地记录下问题与判断确实有点不切实际。 运维专家或许是每个运维人追寻的梦想，他们敏锐的嗅觉似乎总能揪出系统故障的根本原因。这种快速反应、准确定位的能力源自多年来处理复杂系统难题的经验积累与个人知识储备，而且其成功很难被复制。 文中涉及的方法、经验和思想不代表最佳实践。 --- 蓝鲸智云简介 腾讯蓝鲸智云（简称蓝鲸）软件体系是一套基于PaaS的技术解决方案，致力于打造行业领先的一站式自动化运维平台。
1.8K60编辑于 2022-04-25 - 来自专栏腾讯技术工程官方号的专栏
运维老司机：问题排查经验总结
导语：运维可以说是世界上最紧张且强度最大的工作之一，每个杂乱无章的问题背后都需要我们的深入的抽丝剥茧。尤其是当你面对的问题直接与收入业务、海量服务运营挂钩时，可谓是肾上腺素瞬间飙升。 其实做运维练就的是一种心态，足够淡定遇事不乱，从容应对才是真。 从入行到现在，遇到过各式各样千奇百怪的问题，每个业务形态和系统均不一样，排查出问题并找到根本原因加以解决，其实是一件很成就感的事情。 排查问题犹如破案 运维排查线上问题犹如警察破案一样，是一个不停分析线索，推理的过程，但在准备排查问题之前，我们应该明白三个认知：认知，几乎是人和人之间唯一的本质差别。 卷宗记录，破案归档 好记性不如烂笔头，然而在一片混乱问题分析当中，让运维心平气和地记录下问题与判断确实有点不切实际。 结语 运维专家或许是每个运维人追寻的梦想，他们敏锐的嗅觉似乎总能揪出系统故障的根本原因。这种快速反应、准确定位的能力源自多年来处理复杂系统难题的经验积累与个人知识储备，而且其成功很难被复制。
3K30发布于 2017-08-16 - 来自专栏python3
日常运维 3
crontab -e 编辑任务计划 crontab -l(小写的L) 列出任务计划 crontab -r 删除 crontab -u [username] 指定某个用户 1-5 表示范围1到5 1,2,3 --level 34 network off/on 控制network的等级3和4开关 --add [servicename] 增加一行服务，前提是在/etc/init.d/目录下有文件 --del [
81220发布于 2020-01-14 - 来自专栏python3
Linux运维常用知识（3）
）查看IP（$1代表IP） #cat access_log | awk '{print $1}' （2）对IP排序 #cat access_log | awk '{print $1}'| sort （3） awk '{print $1}'|uniq -c|wc -l > ip.txt （13）查看 access.Log 文件ip统计(从高到低) cat access.log |awk '{print $3} (3) 端口不通时发送邮件 # vim /scripts/ncports.sh #! /bin/bash #denyhost ip cat /var/log/secure|egrep -i -o "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3 > $fileRfc done tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt} 补充一些知识： Linux运维常见系统服务介绍
28.8K34发布于 2020-01-08 - 来自专栏kafka专栏
3.【kafka运维】Topic的生产和消费运维脚本
Topic的消费kafka-console-consumer.sh 3. 持续批量推送消息kafka-verifiable-producer.sh 4. 持续批量拉取消息kafka-verifiable-consumer More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.LoggingMessageFormatter、kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter 3.
94720编辑于 2022-04-13 运维经验｜Linux虚拟机如何挂载磁盘
执行命令 lsblk 3、 查看未挂载的磁盘 Linux fdisk 是一个创建和维护分区表的程序，它兼容 DOS 类型的分区表、BSD 或者 SUN 类型的磁盘列表。 这六步骤分别为： （1）第一步 直接输入n，新建一个分区（可以参考4、（1）帮助第一个命令） （2）第二步 只是选择主分区 （3）第三步 默认第一分区 （4）第四步 开始大小，使用默认，直接回车 注意：这里可以用ext3，也可以用ext4。可以到/dev目录下查看有哪些格式。 6、 实施挂载 （1）创建挂载节点 这个比较简单，就是创建一个文件夹。 /dev/sdb1 /disk_mount ext4 defaults 0 1 // 如果上面用的是ext3，这里也要用ext3； 此时，如果你在测试环境，可以重启试试。
1.9K10编辑于 2024-04-01- 来自专栏开发运维工程师
运维经验｜Linux虚拟机如何挂载磁盘
所以，我们需要额外的命令工具来做支撑，实验之前，先检查下机器已经挂载的磁盘，可使用lsblk命令来查询，如果不了解这个命令，可以参考博主以前的博文：Linux工具｜运维工具lsblk使用小妙招 注意：Linux 执行命令 lsblk 3、 查看未挂载的磁盘 Linux fdisk 是一个创建和维护分区表的程序，它兼容 DOS 类型的分区表、BSD 或者 SUN 类型的磁盘列表。 这六步骤分别为： （1）第一步 直接输入n，新建一个分区（可以参考4、（1）帮助第一个命令） （2）第二步 只是选择主分区 （3）第三步 默认第一分区 （4）第四步 开始大小，使用默认，直接回车 （5） 注意：这里可以用ext3，也可以用ext4。可以到/dev目录下查看有哪些格式。 6、 实施挂载 （1）创建挂载节点 这个比较简单，就是创建一个文件夹。 /dev/sdb1 /disk_mount ext4 defaults 0 1 // 如果上面用的是ext3，这里也要用ext3； 此时，如果你在测试环境，可以重启试试。
1.7K1210编辑于 2023-12-22 - 来自专栏python3
运维的shell小编（3）
dd if=infile.log of=outfile.log bs=1M count=1
61410发布于 2020-01-09 - 来自专栏力哥聊运维与云计算
聊聊运维（2）公开运维技术分享的一些经验
技术分享三条实战经验： ● 良好的逻辑性 ● 自己真实经验总结 ● 多练习 首先，说明下，我不是技术分享高手，分享了次数比较多，有点心得；另外，听的分享多了，对好坏也有一些感受。 还有，在此特别感谢下西山居的运维开发架构师，《Puppet实战》的作者刘宇，我的许多分享经验来自于宇哥，并且得到了宇哥多次的，一对一贴身的，手把手的指点。 二 如何做好技术分享 1.做好功课，了解听众 运维分享通常是思路、方法、及在某些方面的技术实践，因为需要背景知识，不是所有人都能听懂，所以了解自己的听众非常重要，比如对于刚入行的朋友和资深的从业者，内容和深度就应该不一样 树形 从根部开始，分模块介绍，比如私有云的运维，按照计算、存储、网络、管理等模块，逐个介绍。使用这个方案，建议画一个脑图。 3.分享知识，带来社会价值 也许你踩过的坑，别人正在路上，通过你的分享，可以让大家少走弯路，节省资源，带来社会价值。
1.2K20发布于 2019-06-28 - 来自专栏大数据
大规模Hadoop集群管理：运维经验与监控策略
四、故障自愈的防御体系在构建智能运维系统时，我们提炼出"故障三态模型"：瞬时故障（如网络抖动）、间歇故障（如磁盘坏道）、持久故障（如节点宕机）。 在某政务云项目中，通过分析DFSClient的No Lease Exception日志模式，提前3天预警了NameNode的元数据瓶颈。 运维启示录：集群的稳定性不在于处理故障的能力，而在于预见故障的智慧。 八、智能运维的未来图景在某智慧城市的超大规模集群中，我们构建了AI运维中台：通过LSTM模型预测集群负载，结合强化学习进行参数调优推荐。系统每日处理2TB运维数据，自动生成《健康度诊断报告》。 让技术经验流动起来 ▌▍▎▏ 你的每个互动都在为技术社区蓄能 ▏▎▍▌ ✅ 点赞 → 让优质经验被更多人看见 收藏 → 构建你的专属知识库 转发 → 与技术伙伴共享避坑指南 点赞 ➕ 收藏
47521编辑于 2025-09-12 - 来自专栏悦专栏
8 年 Redis 运维经验，我踩了哪些坑
嘉宾介绍 朱文潇 ，大型互联网公司 8 年 Redis 运维实战经验，多次以核心身份主导 Redis 框架方案设计及落地实施，对 Redis 服务有深刻理解，对多种 Redis 实现方案都有独到的见解。 3）Codis 集群高可用方案：一款分布式缓存高可用集群产品，提供了配套的客户端，提供了动态数据迁移，内置高可用方案，产品设计解决了运维大部分痛点；同样，如果想阅读更多关于 Codis 的内容，可以点击我之前出的一篇文章 从 Redis 2.X 到 Redis 3.X 以上版本需要投入很多测试，整体的运维技术也有很大的变化，需要不断的研究、不断的学习，这也是对运维人员的考验。 4 所维护的集群最大 QPS 是多少？ 1）Redis 源代码并不长，有能力的一定要好好欣赏一下作者的代码艺术； 2）付磊、张益军两位老师编写的《Redis 开发与运维》，有原理解读，有实战经验，值得一看； 3）Redis 社区活跃度比较高， 相关阅读 《用实战经验浅谈 Redis 核心技术》 第01期：你好！
45220编辑于 2022-04-25 - 来自专栏数据和云
运维经验：回滚段异常的特殊救急方法
冷菠 冷菠，资深DBA，著有《Oracle高性能自动化运维》，有近10年的数据库运维、团队管理以及培训经验。擅长数据库备份恢复、数据库性能诊断优化以及数据库自动化运维等。 需要对回滚段进行（特殊）恢复，遵循以下原则： 1、介质恢复（Media Recovery）是首要的恢复方式，能保证数据恢复的一致性和完整性； 2、当介质恢复不能解决问题时，可以考虑使用隐藏参数来进行特殊恢复； 3、 corrupted_rollback_segments参数列表中的回滚段有以下特点： 1、数据库不会检查回滚段头事务表信息，同时，回滚段头的活跃事务也不会被标记为“DEAD”或者“已回滚”状态； 2、回滚段处于离线（Offline）状态； 3、 3、使用修改后的init.ora初始化参数文件启动数据库： startup restrict pfile='<pfile_path>'; nOTE 在数据库启动过程中，可以根据需要使用open resetlogs
2.2K90发布于 2018-03-08 春节前云平台运维深度巡检-实操经验
春节对咱们运维人来说，从来不是单纯的假期，而是一场“保稳定”的硬仗。 下面结合我这些年的一线实操经验，拆解各核心组件的巡检要点和常用命令，都是实打实能用得上的干货。 2.对象存储（OSS/S3）：权限和可用性双验证在控制台看存储桶容量，结合春节业务预期判断空间是否充足，用命令能更精准统计：AWS S3或兼容S3协议的OSS，用aws s3 ls s3://存储桶名 权限一定要收紧，用aws s3api get-bucket-acl --bucket 存储桶名（S3）或对应OSS命令查看访问控制列表，清理匿名、越权访问规则，也可以用aws s3api put-bucket-policy 3.
26010编辑于 2026-02-03- 来自专栏FreeBuf
经验分享 | 如何做好基础安全设备运维
堡垒机 有时候也叫运维审计系统，可以配合 Windows 域或其他认证系统，对运维人员的操作进行审计。网络的访问控制做的好的话，个人认为堡垒机是安全运维里面最有用的设备之一。 二 基础安全设备的运维需求 2.1 人力资源需求 主要有3块工作需比较多的工作量，一个是安全设备日志审计，一个是设备配置，最后一个是配合其他部门做漏洞扫描、通告和修复。 从工作职责说明上写清楚安全运维人员的职责和绩效评估方法，因为安全设备的运维都属于日常性的工作，可以做工作计划，按照计划推动安全设备的日常运维工作。 结合运维、开发部门流程将与安全流程整合到一起。 如果运维部门有类似的系统，放在一起做。设备少的情况下也可以手工记录。
2.4K90发布于 2018-02-24 - 来自专栏嘉为动态
【经验分享】银行应用运维平台设计与建设建议
文章目录如下，是笔者过去5年作为乙方在多个银行设计和落地应用运维自动化的经验分享，共11000字，阅读时长大约10分钟。 当然，在当前业务现状下，“集中+分布式”的融合架构仍然是大型商业银行的最佳架构选择： 表3.png 因此，银行保留面向“稳态”的、基于集中式的传统核心，注重安全、稳定，如存款一类账户、借记卡、传统贷款 运维质量及安全级别要求高：在运维工作复杂度和负担不断增加的情况下，运维如何保持既有运维质量、保障和提升系统可用率，成为应用运维的难题。 运维工作如此繁重，运维人员在横向扩展自己运维技能的同时，还有时间往运维开发、大数据或AI等纵向技术领域转型吗？ 应用拓扑应该以服务树拓扑（或称为业务层次拓扑） 服务树拓扑主要是指从纵向的角度进行模块化划分，并把相同功能的模块划分到一个子系统中，服务树拓扑一般不要超过3层，最末端对应具体的应用模块，模块之下再是主机
2.1K31发布于 2020-05-26 - 来自专栏IT大咖说
运维经验沉淀，面向云原生的一站式日志采集配置及运维平台
◆ 一、开源项目简介 滴滴LogiAM来源于滴滴多年来大量的运维实践经验。经历过多方考验，对于大规模Agent日志采集治理管控及巡检诊断已经沉淀出一套完善的解决方案。 高效的问题诊断、定位能力：具有卓越的指标诊断体系，将Agent、日志采集任务运行时状态全景数字化呈现，实时监控Agent及采集任务健康度，提供故障诊断功能并开具相应诊断报告，可高效快捷的实现问题定位 强大的运维能力 ：基于滴滴多年各核心业务、海量Agent与采集任务的运维经验，对于超大规模Agent与采集任务的治理管控及巡检诊断已经沉淀出一套完善的解决方案。 实时查看运维任务，便于运维人员把控运维任务进度及状态 ◆ 五、技术选型 ◆ 滴滴Logi-Agent架构图 ◆ Agent Manager 本地开发环境搭建 ◆ 1 环境准备 ◆ 1.1 环境依赖 具体的IDEA启动及配置见图： ◆ IDEA 打包 ◆ 修改 Agent-Manager 配置文件 ◆ 启动 Agent-Manager ◆ Agent-Manager 浏览器访问 ◆ 3 Agent-Manager
1.7K20编辑于 2022-06-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号