- 综合排序
- 最热优先
- 最新优先
- 来自专栏kafka专栏
2.【kafka运维】ConfigCommand运维脚本(2)
文章目录 ConfigCommand 1 查询配置 Topic配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 查询kafka版本信息 2 增删改 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type value 示例 consumer_byte_rate producer_byte_rate request_percentage More Kafka专栏持续更新中…(源码、原理、实战、运维
1.7K30发布于 2021-08-03 - 来自专栏kafka专栏
2.【kafka运维】ConfigCommand运维脚本
配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 broker-loggers 查询指定Broker的Logger相关配置 查询kafka版本信息 2 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type
3.2K10编辑于 2022-04-13 - 来自专栏互联网运维杂谈
IT：从运维到运营
“诗和远方”:-) 总体来看，大多数人认为两者含义并不完全一样，很多人都认为IT运营比IT运维的层次更高，有些成熟度较高的大型IT组织已经提出并在执行“从IT运维到IT运营”的发展规划。 BSM、云计算、运维大数据等新的理念、技术和工具的出现、发展和变迁，都和IT正逐步开始从运维走向运营有密切关系，时至今日，从全局角度来看，可以说企业IT已经站在了从运维到运营的一个重要拐点上。 IT运维阶段，IT组织更多地还是在解决三类人的基本需求，让用户能用，让老板批钱，让员工干活，当然也希望大家更满意，但受限于阶段性能力和各方面因素，先能保证这些基本需求就已经很不容易了，而做到这些，在相当长时间内也已经足够 假如IT部门不能与时俱进，还是停留在满足基本需求的运维上，而不主动向追求卓越的运营迈进，提供更有竞争力的优质IT服务，那就很可能会在几年后会碰到更大的挑战。 以上是关于IT运维到IT运营的一些不成熟的思考，抛砖引玉，希望能得到大家的批评和指教。
7.5K54发布于 2019-11-20 - 来自专栏开发运维工程师
运维分享｜安全运维之iptables防火墙（2）
2 安装与使用2.1 安装iptables环境在Linux操作系统中，可以使用yum管理来安装，也可以从官网下载后上传到服务器手动安装。 3.1 查看iptables已设置的规则查看已设置规则列表：iptables -L[root@otn2 ~]# iptables -LChain INPUT (policy ACCEPT)target policy ACCEPT)target prot opt source destination查看已设置规则详细列表：iptables -L -vn[root@otn2 190.168.1.200$ iptables -I INPUT -p icmp --icmp-type 8 -s 192.168.1.10 -j ACCEPT$ iptables -I INPUT 2 -s 123.45.6.0/24 -j DROP # 封IP段即从123.45.6.1到123.45.6.2544.11 端口映射$ iptables -t nat -A PREROUTING
1.2K30编辑于 2023-11-20 - 来自专栏前沿技墅
从ITOM到AIOps：IT运维管理向智能运维的进化
当前传统的 ITOM 工具往往缺乏分析能力，虽然也能采集到运维数据，但无法对这些数据所包含的信息进行洞察，更加无法将数据进行知识化的本质提升。 AIOps 为IT运维提供了全新的管理思路。AIOps 的定义涵盖的两个阶段，可概括为两个层次的提升：数据到信息分析层次的提升；信息到知识提取层次的提升。 ? 从数据到信息的分析，更多的是采用数据统计方法，帮助运维相关人员更好地从众多运维数据中了解系统的运行状态，分析并定位故障，实时获取统计数据。 到2022年，40% 的大型企业会通过大数据和机器学习的能力来帮助甚至逐渐取代传统运维中的监控、服务台及自动化流程。 在信息架构与应用系统日渐庞大的今天，如果再通过人工分析定位的运维方式，很难适应目前日益快速增长的业务需求。
5.7K50发布于 2018-06-08 - 来自专栏大数据在线
拯救运维人！智能运维如何实现1+1>2
Gartner就预测设备和应用程序所产生的数据量正以每年2-3倍的速度增长，且数据类型多样。 2 如何让智能运维1+1>2 爱数与听云在智能运维领域开启了新模式。今年1月份，双方携手正式推出了智能运维整合方案，旨在帮助客户全面管理、深度洞察海量、多源、异构的机器数据。 具体来看，中国用户对于这种智能运维整合方案需求更加迫切。 中国企业的业务规模性和复杂性在全球无出其右，带来了对于日益主动的IT运营、更加细化的成本优化目标和质量期望、更加快速的故障响应与处理、更加稳定的业务持续性等运维需求。 在运维故障分析过程中，可直接追踪事件发生过程，一键定位故障根源，确保业务运营高效运行，并提供端到端的完整应用性能优化方案，提升用户体验。
93820发布于 2021-01-26 - 来自专栏云计算与大数据
运维：记录因grpc需求而引发的glibc故障
背景需求： 准备使用grpc作为服务组间的服务通信协议 问题发生： 本地开发采用mac开发,依赖如下： <dependency> <groupId>org.lognet</groupId help.aliyun.com/knowledge_detail/41478.html#%E9%80%9A%E8%BF%87%E5%9B%9E%E6%BB%9A%E7%A3%81%E7%9B%98%E6%81%A2%
1.1K20发布于 2018-12-17 日志服务 MCP Server，让大模型 “听懂” 运维需求
日常运维工作中，运维及研发同事经常需要查询日志来排查系统异常问题，每次查询日志都需要登录监控系统、查找监控资源、编写日志查询语句，最后再逐行查看日志。这实在是太麻烦了，严重影响了工作效率。 无论是技术小白还是资深运维，都能轻松上手，大幅提升日志查询效率。 日志查询：根据查询语句查询日志服务中的日志数据 2. 自然语言生成查询语句：只需用日常语言描述需求，MCP Server自动生成精准的日志查询语句典型使用场景 1. 运维排障：当系统出现异常时，大模型智能分析当前错误日志，快速定位问题 2. 业务运营：用自然语言查询"今日用户登录失败次数"，实时掌握业务状态 3. 上报日志到腾讯云日志服务：您可将日志上报至日志服务，使用真实的日志进行查询。也可使用日志服务免费的Demo日志，开启方式详见产品文档。本文以负载均衡CLB Demo日志为例进行演示。 2.
1.8M34编辑于 2025-08-08- 来自专栏华汇数据服务
数字经济浪潮下的国产化运维需求
基于IT、动环、智能物联网、工业物联网的一体化运维监控需求，不断涌现。这与近两年技术和产品的升级换代，以及越来越多的智能终端在极短的窗口期进入各行业有很大关系。 运维平台需要满足新增需求并服务于各种应用场景，一个无可回避的问题已经浮上水面： 如何有效运维这些基础设施？ 当前市场上的应对方式，是加大在IT运维服务方面的投入。 根据前几年中国IT运维服务市场的发展形式和对未来发展趋势的分析，我国IT运维服务市场未来几年需求仍然会比较旺盛，前瞻产业研究院预测 2025 年我国IT运维服务市场规模将达到 3668 亿元左右。 除了产业升级、扩大产能等客观需求，一些外在因素使得国内的IT运维升级较之西方发达国家，面临更为猛烈、也更为无序的开局。 科技因素。 老旧的模式、运维系统早已完成IT运维从无到有的历史使命，成为鸡肋；新的模式缺少“吃螃蟹”验证。无数的行业需求举棋不定，以至于还在复刻“流程和标准规范化”的模式，争取让业务增量跑赢人力成本。
80720编辑于 2022-09-01 - 来自专栏全栈工程师修炼之路
Python自动化运维2
config = yaml.load(conf) except ruamel.yaml.YAMLError as e: print("解析错误：",e) #(2) print(i, config['obj'][i]) #数组Array print(config['array'][0]['key1'], config['array'][1]['key2' ], config['array'][2]['key3']) #(3)修改与添加 config['NAME'] = "WeiyiGeek" config['add'] = " yaml.readthedocs.io/en/latest/example.html ini 配置 ---- 文件备份 描述：采用filecmp模块对进行确认备份目录与源目录文件是否保持一致，并且同步源目录文件到目标目录之中 difffile = dircomp.diff_files #源目录中发生变化的文件（不匹配的文件） dirpath = os.path.abspath(src) #将发生变量的文件路径写入到，
55520编辑于 2022-09-28 - 来自专栏全栈工程师修炼之路
Python自动化运维2
config = yaml.load(conf) except ruamel.yaml.YAMLError as e: print("解析错误：",e) #(2) print(i, config['obj'][i]) #数组Array print(config['array'][0]['key1'], config['array'][1]['key2' ], config['array'][2]['key3']) #(3)修改与添加 config['NAME'] = "WeiyiGeek" config['add'] = " yaml.readthedocs.io/en/latest/example.html ini 配置 文件备份 描述：采用filecmp模块对进行确认备份目录与源目录文件是否保持一致，并且同步源目录文件到目标目录之中 difffile = dircomp.diff_files #源目录中发生变化的文件（不匹配的文件） dirpath = os.path.abspath(src) #将发生变量的文件路径写入到，
53310发布于 2020-10-23 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（二）
许多Ceph新手在测试环节以及预生产的时候会对Ceph集群的部署以及调优产生困扰，A公司运维小哥也遇到了部署和调优问题。下面来看看A公司运维小哥是如何解决这个问题的。 关卡二：部署调优关（部署） 难度：三颗星 上篇文章开头我也说到了，部署Ceph是新手的噩梦，对于传统运维来说部署一套Ceph是很难的事情，A公司运维小哥在官网以及Ceph中国社区的相关资料和帮助下才渐渐熟悉了什么是 在相关了解Ceph之后，A公司运维小哥开始部署Ceph。 下面说下部署过程，以及部署过程中的一些坑。 部署过程（按照官网步骤开始一步步做） 1. 安装Linux操作系统； 2. 图2：磁盘问题 第三回合：时间问题 搭建了好久终于搭建完了，但是又面临着一个问题，就是OSD服务进程在，但是ceph osd tree查看OSD却显示down状态，让运维小哥百思不得其解。 ? 而此时就是考验一个运维人员的处理故障的基本素质，好在这个运维小哥有过一两年的经验，经过基本排查，最终确定了是时间问题。由于三个节点时间不一致而导致的这个问题，这里称之为“OSD打摆子”。
1.2K10发布于 2019-04-09 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（一）
运维从横向、纵向分可以分为多个维度和层次，本文试图抛开这纷繁复杂的概念，讲述一个传统的企业级运维人员转型到云运维人员，尤其是软件定义存储的运维之间经历的沟沟坎坎。 随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展，数据中心的扩容建设进入高峰期，云数据中心运维需求应运而生。 你应该在选择存储介质之前了解到集群的工作负载和性能需求。Ceph使用存储介质有两种方法：OSD日志盘和OSD数据盘。Ceph的每一次写操作分两步处理。 下面贴出来A公司运维小哥根据自己场景需求选择的硬件配置。 欲知后事，且听下文《从传统运维到云运维演进历程之软件定义存储（二）》，主要讲述了A公司运维小哥在硬件选型完毕之后开始部署Ceph遇到的一些问题以及解决办法。
1.7K20发布于 2019-04-09 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（四）
2、影响性能的因素 传统存储的封闭特性带来的优势是从存储操作系统软件到专用硬件的深度优化，而软件定义存储、Server SAN的目的是软件和硬件的解耦合，它们带来了灵活性，免除了硬件厂商锁定，但很多时候却不能充分发挥硬件的潜力 同时，由于网络交互在分布式存储中的引入，给存储的整体“时延（latency）”特性带来了挑战，很多分布式存储系统因没有恒定的低时延无法满足高实时性数据库等应用的需求。 -ivh fio-2.2.8-2.el7.x86_64.rpm 常用参数说明： filename: 指定文件(设备)的名称。 测试方式： 有两种测试方式1.配置文件、2.命令行，这里是讲述下命令行操作。 workloads xml文件示例：2个节点的3个网关write.xml ?
2K20发布于 2019-04-09 - 来自专栏IT大咖说
谈AIOps基础-从自动化运维到智能化运维
在这个阶段完成后我们进入到自动化运维阶段。 而实际对于自动化运维可以分为以下三个大部分的内容 运维流程的自动化：包括了巡检，事件问题管理，变更管理，版本发布等 运维配置库：最基本的运维配置管理库，从物理资源到逻辑资源到源代码库到服务库 运维监控的自动化 ：自动化数据采集，监控预警，性能分析，后续触发的自动管控操作 对于运维流程最终往往都涉及到运维操作，运维操作最终结果涉及到配置库信息的变更，而对于运维监控本身有可能发现运维类问题并启动相应的运维流程进行处理 在自动化运维里面，我们会很强调工具链这个词，即要实现整个运维自动化涉及到诸多的流程协同，底层更是涉及到诸多的工具协同，而这些工具本身都是单一的完成一种类型的操作任务，如果这些工具间没有协同和集成起来，那么将直接导致我们整个运维过程是存在隔离和断点的 智能运维在前期历史知识库不足够强大的情况下，你出现决策错误不要紧，但是你需要具备不断持续学习能力，自我适应和调整能力，这才是最重要的。 智能运维场景2-性能优化和弹性扩容 ?
8.6K31发布于 2020-11-03 - 来自专栏Linux云计算及前后端开发
曾老湿带你了解运维需求-实现自动化运维平台
自动化运维平台功能大纲 核心功能1-Dashboard及展示 核心功能2-资产管理及展示 核心功能3-SQL审核及展示 核心功能4-运维工具及展示 核心功能5-堡垒机及展示 ---- 自动化运维平台功能大纲  ---- 工作台  作用：这是我们运维人员平时写周报，日报，月总结，年总结，绩效考核的地方。 功能实现： 将TXT或者是EXECL集成到页面当中即可。 在管理的页面中，也分为三个标签页： ---- 用户 第一个标签页，就是用户，也就是针对用户及用户组的管理，这里涉及到用户的权限 员工权限： 1）运维权限 2）开发权限 3）测试权限 管理员权限： 1）运维总监 2）开发总监 3）测试总监 以及不同用户组的权限，可以看到左边的标签页也不同  还有就是他们每个人，所关联的主机权限也不同。 所有服务器的权限，都控制在运维的手中，所以，所有服务器运维都看的到。 而开发，或许只能看到开发环境的机器，测试只能看到测试环境的机器。
88030编辑于 2022-10-31 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（六）完结
回到最初的Ceph运维工程师的问题，本系列讲述的是传统运维向新一代云运维转型之软件定义存储部分的转型，运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤，也是重要的步骤。 关卡六：Ceph运维 重要度：五颗星 Ceph运维常用命令 一、集群 1、查看Ceph集群的状态 [root@node1 ~]# ceph health 2、查看Ceph的实时运行状态 [root@node1 1.通过tell 命令在线修pool的副本数，并修改配置文件且同步到所有节点。 #保险起见，最好把MON和OSD关于副本数的选项都修改。 2. 好了，最后一篇文章到此结束，在本系列开头讲到随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展，数据中心的扩容建设进入高峰期，云数据中心运维需求应运而生。 通过九篇文章简单介绍了下传统运维向云运维或者说是传统运维向SDS运维的转型之路。
95220发布于 2019-04-09 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（五）中
关卡五：Ceph灾备神兵利器-故障域 重要度：五颗星 转眼六篇文章过去了，还记得大明湖畔（本系列一）的运维小哥吗？ 勿忘初心，咱们还是回到最初的运维小哥，运维小哥经历了硬件选型、部署、调优、测试的一系列转型的关卡，终于就要到最后的上线了。 运维小哥最初的梦想搭建一个Ceph存储集群，对接云服务，底层存储实现高可用的数据访问架构。 根据存储管理平台的需求和集群规模，需要实现： 将物理环境按高可用的拓扑架构规划好，并且完成存储集群部署。 将24台服务器分别规划在3个机架上，每个机架8台服务器，每个机架设置为一个故障域，创建一个3副本存储资源池，数据副本自动分布到不同故障域中，也是分布在不同机架上，保障数据安全。
82820发布于 2019-04-09 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（三）上
上回书讲完了部署，部署完成之后，就开始了无休止的调优，对于Ceph运维人员来说最头痛的莫过于两件事：一、Ceph调优；二、Ceph运维。 调优是件非常头疼的事情，下面来看看运维小哥是如何调优的，运维小哥根据网上资料进行了一个调优方法论（调优总结）。 在Linux的各种发行版中，为了保证对硬件的兼容和可靠性，很多内核参数都采用了较为保守的设置，然而这无法满足我们对于高性能计算的需求，为了Ceph能更好地利用系统资源，我们需要对部分参数进行调整。 有时候我们会发现，在物理内存还有剩余的情况下，交换分区就已经开始被使用了，这就涉及到kernel中关于交换分区的使用策略，由vm.swappiness这个内核参数控制，该参数代表使用交换分区的程度：当值为 设定Linux操作系统参数：vm.swappiness=0，配置到/etc/sysctl.conf。
1.3K20发布于 2019-04-09 - 来自专栏云+技术
从传统运维到云运维演进历程之软件定义存储（五）上
2、基于应用的数据保护。 除了存储级的复制，一些厂家另辟蹊径通过在主机层面在驱动层之上做到写数据的分流。依照这种方法，有效避免了存储端的兼容性问题且大大节约了部署成本。 可以在多地间依据企业需求做到数据的实时或者异步的保护。 但是缺点同样显而易见，及存储网关作为一个总的数据流量出入口本身就可能成为一个瓶颈！ 部分备份软件利用自身私有协议，将在本地的备份数据远程同步到远端的备份节点上。 这种方式有效做到了带宽的有效利用和数据的高一至性。但是缺点也非常明显，既无法做到业务的实时可用。
96420发布于 2019-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号