- 综合排序
- 最热优先
- 最新优先
- 来自专栏kafka专栏
2.【kafka运维】ConfigCommand运维脚本(2)
文章目录 ConfigCommand 1 查询配置 Topic配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 查询kafka版本信息 2 增删改 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type value 示例 consumer_byte_rate producer_byte_rate request_percentage More Kafka专栏持续更新中…(源码、原理、实战、运维
1.8K30发布于 2021-08-03 - 来自专栏kafka专栏
2.【kafka运维】ConfigCommand运维脚本
配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 broker-loggers 查询指定Broker的Logger相关配置 查询kafka版本信息 2 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type
3.5K10编辑于 2022-04-13 - 来自专栏祝威廉
运维=平台+数据
运维会比开发更加重要 运维的发展日新月异，曾几何时，运维仅仅是被认知为跑机房，装系统，设计网络，给开发擦屁股。 但是现在运维变得极度重要，运维职责也更加细化，譬如稍大点的公司就将运维划分为基础运维，网络运维，DBA, 应用运维，架构师。 运维发展新方向 之前我写过一篇文章，谈及如何用大数据思维做运维，当然这篇文章有他自己的局限性，只是谈及了运维监控，灌输一种 data based 的理念。 一切服务都是为了帮助数据进行流转和变换，服务的状态也都反应在数据流上，这种瞬态和终态的量是非常大的，所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做运维灌输的概念了。 所以未来运维可以完全依托一个固定的分布式操作系统，在其上开发各种运维工具，利用大数据相关的理念和工具，监控，追踪，分析服务的状态，解决现有的运维工具碎片化，难以复制，难于贡献生态的问题。
4.5K50发布于 2018-08-27 - 来自专栏开发运维工程师
运维分享｜安全运维之iptables防火墙（2）
防火墙技术的功能主要在于及时发现并处理计算机网络运行时可能存在的安全风险、数据传输等问题，其中处理措施包括隔离与保护，同时可对计算机网络安全当中的各项操作实施记录与检测，以确保计算机网络运行的安全性，保障用户资料与信息的完整性 2 安装与使用2.1 安装iptables环境在Linux操作系统中，可以使用yum管理来安装，也可以从官网下载后上传到服务器手动安装。 3.1 查看iptables已设置的规则查看已设置规则列表：iptables -L[root@otn2 ~]# iptables -LChain INPUT (policy ACCEPT)target policy ACCEPT)target prot opt source destination查看已设置规则详细列表：iptables -L -vn[root@otn2 iptables -Z「命令」$ iptables -F # 清除所有规则，不会处理默认的规则$ iptables -X # 删除用户自定义的链$ iptables -Z # 链的计数器清零(数据包计数器与数据包字节计数器
1.5K30编辑于 2023-11-20 - 来自专栏大数据在线
拯救运维人！智能运维如何实现1+1>2
数据量庞大且类型丰富，复杂的多云环境，繁多的监控运维工具，超级多的无效运维事件，让该集团运维工作挑战巨大，运维人员日常工作中如坐针毡，“惶惶不可终日”。 类似情况在其他企业比比皆是。 智能运维，即通过结合大数据和机器学习等相关技术，以数据采集与分析各种数据支持所有主要的IT运营功能，将彻底改变过去传统运维的种种诟病，被认为既是解放运维人员的救星，也可为众多企业的数字化转型保驾护航。 Gartner就预测设备和应用程序所产生的数据量正以每年2-3倍的速度增长，且数据类型多样。 另一方面，业务和环境的复杂性也让运维对象、数据与指标覆盖不足，运维数据范围不足造成故障发生前缺少健康度洞察，难以提前预测故障事件。 2 如何让智能运维1+1>2 爱数与听云在智能运维领域开启了新模式。今年1月份，双方携手正式推出了智能运维整合方案，旨在帮助客户全面管理、深度洞察海量、多源、异构的机器数据。
1K20发布于 2021-01-26 - 来自专栏个人总结系列
指标数据运维流程
现状 针对目前大数据异常响应效率低，解决处理定位难，运维压力集中在某几个人等不合理的现状。 针对技术组件方向，建立大数据技术保障组，异常谁发现谁报备到保障组并@组件负责人，组件负责人根据实际情况，业务重要程度，是否发起团队能力协助处理来主要负责处理。 二.
1.4K00发布于 2021-08-14 - 来自专栏全栈工程师修炼之路
Python自动化运维2
config = yaml.load(conf) except ruamel.yaml.YAMLError as e: print("解析错误：",e) #(2) print(i, config['obj'][i]) #数组Array print(config['array'][0]['key1'], config['array'][1]['key2' ], config['array'][2]['key3']) #(3)修改与添加 config['NAME'] = "WeiyiGeek" config['add'] = " ('love', ['Computer', 'Cook', 'car'])]) array ： [ordereddict([('key1', 'I')]), ordereddict([('key2' return holderlist def main(): global destination,\ holderlist if len (sys.argv) > 2:
63320编辑于 2022-09-28 - 来自专栏全栈工程师修炼之路
Python自动化运维2
config = yaml.load(conf) except ruamel.yaml.YAMLError as e: print("解析错误：",e) #(2) print(i, config['obj'][i]) #数组Array print(config['array'][0]['key1'], config['array'][1]['key2' ], config['array'][2]['key3']) #(3)修改与添加 config['NAME'] = "WeiyiGeek" config['add'] = " ('love', ['Computer', 'Cook', 'car'])]) array ： [ordereddict([('key1', 'I')]), ordereddict([('key2' return holderlist def main(): global destination,\ holderlist if len (sys.argv) > 2:
63310发布于 2020-10-23 - 来自专栏散尽浮华
运维相关指标数据采集并ES入仓 - 运维笔记
收集到的应用指标数据最好要进行ES入仓，入到Kafka里面，并通过Kibana可视化展示。 需要进行采集的应用进程相关指标如下： ? 指标值 indexValue CHAR 是 支持批量 指标类别 indexType CHAR 是 安全 测试 运行 应用 环境 指标描述 indexDesc VARCHAR 是 指标说明，指标采集数据源 legao……） 采集时间 collectTime TIMESTAMP 是 支持批量 应用名称 appName CHAR 是 以AIOPS的3位编码为准 主机名 hostName CHAR 否 发送数据源主机 dataSource CHAR 是 脚本路径@主机IP 下面是应用指标数据进行ES入仓的请求说明 测试区接口说明： 访问链接：http://192.168.10.10:10222/haha/heiheiAPI bash shell生成时间戳示例 date +'%s' # bash shell请求示例 curl -s -XPOST -H "Content-Type:application/json" -d 请求数据
1.8K31发布于 2019-07-08 - 来自专栏Snova最佳实践系列
Snova运维篇（十）：gp数据库中数据操作-2
本节继续前篇数据操作的内容进一步学习相关运维工作。 图片.png 目录： 定义数据库对象 管理数据 ---- 基本概念： 视图 在 SQL 中，视图是基于 SQL 语句的结果集的可视化的表。 视图中的字段就是来自一个或多个数据库中的真实的表中的字段。我们可以向视图添加 SQL 函数、WHERE 以及 JOIN 语句，我们也可以提交数据，就像这些来自于某个单一的表。 ---- 1.定义数据库对象： （一）对大型表分区 Greenplum数据库支持： 范围分区：基于一个数字型范围划分数据，例如按照日期或价格划分。 ，删除所有索引、载入数据然后重建索引会更快。 2.管理数据 插入行 INSERT INTO products (name, price, product_no) VALUES ('Cheese', 9.99, 1); INSERT INTO products
1.2K30发布于 2019-12-31 - 来自专栏腾讯云TVP
运维数据生态之数据思维
运维数据根据上述运维方式的发展历程逐步构建数据生态，如果我们把运维方式的发展浓缩成运维技术提升和工具建设，那与之相对应的，运维数据的发展也有四个阶段：自动化运维能力、平台化运维能力、数据化运维能力、智能化运维能力 在智能化运维能力中，运维数据已形成较大的规模，因此将运维经验和大数据、机器学习的技术相结合，开发成一系列智能策略，提升运维数据的输出能力，让运维的数据边界延伸至更多的场景。 项目上线前的预期收益和项目上线后的阶段性实际收益相对比，相关数据可以决定了软硬件的投入是否形成收益，也能将此类数据作为业务继续迭代优化和下线止损的参考。 （2） 运维人员的数据观 无数据，不工作。 而运维人员只需要将运维场景的数据和其他第三方数据进行有机的结合，因此运维人员随时看数据，并不需要成为他们，运维服务能力的边界延伸并不意味运维技术的延伸，运维人员跟需要善于运用现有的数据来获得想要的结果和反馈 123123.png （2） 提供数据使用场景 运维的日常场景很多，看似复杂，终究离不开对稳定、安全、高效、低成本四项基本价值的更高追求。
2.9K2519发布于 2020-06-29 运维管理数智化：数据与智能运维场景实践
数据与智能技术在运维业务中的定位数据与智能技术在运维业务中的应用近几年进入“实用化提升阶段”，无论从供给方，还是需求方，都逐步认识到，“数据与智能”运维有其边界和条件，“AI加持运维”比“AI颠覆运维” 概要设计：运维大数据及AI是技术能力，核心是应用到运维业务场景中；有三个核心基础：基础运维系统提供数据和能力、数据及AI平台提供数据处理和模型训练能力、运维数据分析及算法工程师和团队提供组织支撑。 2、状态域：IT监控、自动化运维、安全监测等采集的设备软硬件性能、状态、事件、日志、告警及实用化数据等。3、流程域：运维流程管理中执行一个业务流程所产生的相关记录数据。 关键逻辑为：图2:基于运维数据的管理架构这里有几个实践建议：1、消费场景聚焦在提升性能容量、观测整合、运营分析的高阶运维能力；尤其是在观测整合上，当前可观测主要围绕故障分析和定位展开，基于数据管理框架， ：图3:告警视角的观测场景示例2、技术价值主要体现在复杂和大规模的数据清洗、开发和存储需求；跨数据源的数据关联计算；联动MLOps实现数据样本和数据源的关联，实现AIOps模型开发和应用。
3.7K40编辑于 2024-07-17- 来自专栏AI+运维：智能化运维的未来
运维人不再“救火”：数据驱动才是主动运维的底气
运维人不再“救火”：数据驱动才是主动运维的底气 “运维=救火队”？你也太低估它了！作为一个“打过补丁、熬过大夜、啃过故障单”的老运维，我想说句实话：传统运维，说白了就是“哪里着火，往哪儿跑”。 系统挂了，才开始排查；磁盘满了，才开始清理；用户骂了，才知道卡顿……这不是运维，这是“被动接锅侠”！但你别急，这两年形势真变了：数据，开始让运维变“主动”了。 从“亡羊补牢”到“预判于未发”，数据驱动的运维，才是未来的正道。 什么是“数据驱动的主动运维”？一句话解释：就是靠数据说话，不靠报警响了再动手。 ：触发式运维（能动手才叫真主动）接入Webhook联动脚本：异常触发自动扩容、通知、拉日志自定义报警规则+自动Playbook执行构建闭环：数据采集 -> 预警 -> 自动响应❤️ 一点真实感受：运维的未来 说真的，运维这个工种，以前太容易被低估了，感觉就是在修服务器、拉网线。但今天，优秀的运维，靠的是数据思维。你要知道哪里可能出问题，更要知道问题还没来的时候，它已经“动了一下”。
37400编辑于 2025-07-14 - 来自专栏防火墙自动化
运维监控，如何获取数据？
运维如果想做自动化高效化，则少不了搭建监控系统。目前市面上已经有大量成熟、开源的监控平台可供挑选。但如果想实现一个监控系统，或了解监控系统的原理，则可参见本文。 1. 常见运维监控系统划分 常见运维监控系统可按有/无Agent，使用Pull/Push获取数据进行简单划分。 [sqpnqlpbyh.png? 2. 不使用Agent时的数据获取 2.1 SNMP SNMP是最适合做小流量监控的协议，一般服务器/网络设备/存储设备都会实现。但此协议需要手动配置开启，简要的开启和测试过程如下。 相信运维/开发对此协议都很熟悉，用于监控时，它可以直接输入系统命令从而获得监控数据输出。优点是一次就能获取大量的信息，缺点是交互不好控制和获取到的输出往往需要清洗处理。SSH示例如下。 小结 运维监控系统可按“有/无agent”、“使用pull/push获取数据”划分成6类。 Agent实际是一个轻量程序，用于提供系统无法直接提供的数据。
5.5K103编辑于 2022-05-22 - 来自专栏小麦苗的DB宝专栏
Apache Doris元数据运维
如果使用 OBSERVER 节点的元数据进行恢复会比较麻烦，建议尽量选择 FOLLOWER 节点。 以下操作都在由第2步中选择出来的 FE 节点上进行。 如果你并不十分了解 FE 元数据的运行逻辑，或者没有足够 FE 元数据的运维经验，我们强烈建议在实际使用中，只部署一个 FOLLOWER 类型的 FE 作为 MASTER，其余 FE 都是 OBSERVER ，这样可以减少很多复杂的运维问题！ 所以如 最佳实践 一节中所述，如果你没有丰富的元数据运维经验，不建议部署多 FOLLOWER。 调用 fsync() 会显著降低元数据写盘的效率。在某些环境下，IOPS 可能降至几百，延迟增加到2-3ms（但对于 Doris 元数据操作依然够用）。
1.6K31编辑于 2023-10-28 - 来自专栏运维之路
4.5.1 他山之石之运维数据
2、从日志(splunk\日志易\elasticsearch)、性能（天旦BPC\dynatrace）、监控(zabbix\赞同\ominibus&优锘&优维)、配置（优维/优锘）、流程（servicenow ）、应用运营几类运维数据出发，挖掘对应厂商对运维数据应用场景的观点。 3、运维数据平台考虑以下几个关注： 关注数据在运维数字化空间的融合作用。 关注提升业务连续性保障、IT交付效率、感知客户体验、产品运营能力的分析能力。 关注运维数据治理、运维指标体系的建设。 我个人认为，算法与海量数据计算的运用适合探索对未知问题的解决效率上。 2、“监管控析”分别管理数据，在上面建立一层汇集层。 通过对上述厂商观点的分析，我觉得在运维数据平台建设方面重视几个关注： 1、关注数据在运维数字化空间的融合作用。 2、关注提升业务连续性保障、IT交付效率、感知客户体验、产品运营能力的分析能力。
1.6K21发布于 2021-03-03 - 来自专栏侯哥的Python分享
MySQL运维2-主从复制
一、主从复制概念 主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器中，然后在从服务器上对这些日志重新执行也叫重做，从而使得从数据库和主库的数据保持同步。 ，指不需要同步的数据库,和下面的一条配置默认如果不配置的话，即复制所有数据库 #binlog-ignore-db=mysql #指定同步的数据库 #binlog-do-db=db01 2、配置好了之后 1 row in set (0.00 sec) 4.3 从服务器配置 1、从服务器上在MySQL的配置文件中增加下面的配置 #MySQL服务ID,保证整个集群中唯一 server-id=2 #是否只读 1代表只读 0代表读写 read-only=1 2、配置好了之后，要重启MySQL服务。 1：这里主要看Slave_IO_Running和Slave_SQL_Running这两个是否为YES,全部为YES说明配置成功 五、主从复制测试 说明1：主从原始的都是只有四张系统表 说明2：
46840编辑于 2023-09-28 - 来自专栏DBA随笔
Redis开发与运维学习笔记---(2)
Redis的单线程架构 Redis使用了单线程架构和I/O多路复用模型来实现高性能的内存数据库服务，我们来看Redis的单线程命令处理机制。 主要原因如下: 1、redis是纯内存访问，它将所有的数据存放在内存中，内存的相应时间大约为100ns，这是redis达到每秒万级别访问的基础。 慢查询的2个配置参数 对于慢查询，redis配置了2个关键参数，其中第一个是慢查询的阈值：slowlog-log-slower-than和slowlog-max-len配置来解决这两个问题。 1) 1) (integer) 4 2) (integer) 1585235910 3) (integer) 10 4) 1) "slowlog" 2) "get" 3) "1" 2) 1) (integer) 3 2) (integer) 1585235905 3) (integer) 4 4) 1) "get" 2) "hello"
55720发布于 2020-03-31 - 来自专栏zaking's
《前端运维》三、Docker--2其他
二、数据盘 当你删除容器的时候，容器层里创建的文件也会被删除，如果有些数据你想要永久保存，比如Web服务器的日志，数据库中的数据等，那么就可以为容器创建一个数据盘。 下面，我们就直接实践下有关的命令： 1、创建数据卷 这样，我们就创建了一个名为nginx-vol的数据卷。 通过inspect命令，可以查看详细的数据卷信息： 然后，可以通过rm命令删除数据卷： docker volume rm nginx-vol 2、数据卷挂载 我们先来执行下下面的命令： docker 4、指定数据盘容器 我们先来执行下这个命令： docker create -v ~/mnt:/mnt --name logger centos 这样就直接创建了一个具有指定数据卷容器的容器。 当然，类似于docker，我们也可以通过docker-compose命令，指定容器的网络和数据卷，区别的是，文件的存储位置不太一样，docker-compose数据卷存储在：/var/lib/docker
1.1K20编辑于 2022-05-10 - 来自专栏devops_k8s
做运维的感悟(做运维需要考虑事,运维组织结构,运维学习地图....)
负责数据中心的建设、现场维护工作。 （2）网络建设 设计及规划生产网络架构，这里面包括：数据中心网络架构、传输网架构、CDN网络架构等，以及网络调优等日常运维工作。 （1）设计评审 在产品研发阶段，参与产品设计评审，从运维的角度提出评审意见，使服务满足运维准入的高可用要求。 （2）服务管理 负责制定线上业务升级变更及回滚方案，并进行变更实施。 数据库运维 数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 招聘岗位和要求 /* 职位一 【岗位职责】： 1、制定和优化运维解决方案，包括但不限于柔性容灾、智能调度、弹性扩容与防攻击； 2、推动及开发高效的自动化运维、管理工具，提升运维工作效率； 【 职位要求 】 计算机相关专业，本科及以上学历，至少2年以上的大规模系统运维经验，2年以上运维开发经验，有deveops开发经验或有中大型互联网公司运维自动化经验者优先； 具备openstack
8.6K1011发布于 2020-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号