python运维实例 第一部分Part 1 基础篇 ■ 第1 章 系统基础信息模块详解 ■ 第2 章 业务服务监控详解 ■ 第3 章 定制业务质量报表详解 ■ 第4 章 Python 与系统安全 Chapter 1 第1 章 系统基础信息模块详解 系统基础信息采集模块作为监控模块的重要组成部分,能够帮助运维人员了解当前系统 的健康程度,同时也是衡量业务的服务质量的依据,比如系统资源吃紧,会直接影响业务的 服务质量及用户体验 ,另外获取设备的流量信息,也可以让运维人员更好地评估带宽、设备 资源是否应该扩容。 more information. >>> 1.1 系统性能信息模块psutil psutil 是一个跨平台库(/p/psutil/ ),能够轻松实现获取系统运行的 第1章 系统基础信息模块详解 3 命令如下: 物理内存total 值 : free -m | grepMem | awk ‘{print $2}’ 物理内存used 值 : free -m | grepMem | awk ‘{print $3}
Topic的消费kafka-console-consumer.sh More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.LoggingMessageFormatter、kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter More Kafka专栏持续更新中…(源码、原理、实战 、运维、视频、面试视频) ----
同时,我们团队在日常运维 OpenStack 以及升级社区新版本中,也总结了一些部署、运维规范以及升级经验。 提高了基础设施资源管理与运维自动化水平,从而降低了运维成本。借助于 Web 自助式的资源申请和分配方式以及云平台自动部署服务,系统运维人员减少了 50%。 运维上使用网易自主研发的运维平台做监控和报警,功能类似 Nagios,但是更加强大。其中较重要的监控报警包括日志监控和进程监控。日志监控保证服务发生异常时第一时间发现,进程监控保证服务正常运行。 OpenStack 各组件配置 OpenStack Havana 的配置项成百上千,大部分配置项都是可以使用默认值的,否则光是理解这么多的配置项的含义就足以让运维人员崩溃,尤其是对那些并不熟悉源码的运维人员来说 2.运维准则 OpenStack 也是一个后端系统服务,所有系统运维相关的基本准则都适用,这里简单的提几点实际运维过程中根据遇到的问题总结的一些经验: 配置项默认值与实际环境不匹配可能导致各种问题,尤其是网络相关配置与硬件有很强的关联性
)查看IP($1代表IP) #cat access_log | awk '{print $1}' (2)对IP排序 #cat access_log | awk '{print $1}'| sort (3) awk '{print $1}'|uniq -c|wc -l > ip.txt (13)查看 access.Log 文件ip统计(从高到低) cat access.log |awk '{print $3} (3) 端口不通时发送邮件 # vim /scripts/ncports.sh #! /bin/bash #denyhost ip cat /var/log/secure|egrep -i -o "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3 > $fileRfc done tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt} 补充一些知识: Linux运维常见系统服务介绍
crontab -e 编辑任务计划 crontab -l(小写的L) 列出任务计划 crontab -r 删除 crontab -u [username] 指定某个用户 1-5 表示范围1到5 1,2,3 --level 34 network off/on 控制network的等级3和4开关 --add [servicename] 增加一行服务,前提是在/etc/init.d/目录下有文件 --del [
Topic的消费kafka-console-consumer.sh 3. 持续批量推送消息kafka-verifiable-producer.sh 4. 持续批量拉取消息kafka-verifiable-consumer More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.LoggingMessageFormatter、kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter 3.
大家好,欢迎来到运维有术 欢迎来到云原生运维实战系列之基于 KubeSphere 玩转 Kubernetes 第二季 前言 导图 图片 知识量 阅读时长:2 分 行:1265 单词:7780+ 字符: 38200+ 图片:7 张 知识点 定级:入门级 如何利用 AI 助手辅助运维工作 单节点 Zookeeper 安装部署 集群模式 Zookeeper 安装部署 开源应用选型思想 实战服务器配置(架构1 简介 今天我们的实战内容采用场景模拟的形式,模拟真实运维工作中,必然会遇到的一个场景。什么场景,还必然会,接着往下看...!!! 作为一个初入职场刚接触云原生运维的运维小白,Boss 今天给我安排了一个高难度的任务,对,你没看错就是高难度的。 既然是 2 M 1 D 级别的任务,先搬出 AI 时代运维三板斧中的前两板,看看是否能解决问题。
作者简介 张思德 Zabbix开源社区专家,Zabbix 7.0 ZCE “凌晨3点被告警电话吵醒,⼿忙脚乱登录服务器查⽇志…” 据 Gartner 统计,47% 的运维事故响应时间超过 30 分钟,⽽ 今天介绍⼀个开源神器组合,让 AI 助⼿帮你搞定监控运维! 目录 一、OpenClaw是什么? 七、总结 OpenClaw + Zabbix 的组合,让运维⼯作从“⼈找系统”转变为“系统找⼈”: 1. 降低门槛 - ⾃然语⾔操作,⽆需记忆复杂命令 2. 改善体验 - 在熟悉的 IM ⼯具中完成运维 适⽤场景: ✅ 中⼩企业运维团队 ✅ 需要快速响应的监控场景 ✅ 多平台统⼀运维⼊⼝ ✅ 降低运维⼯具学习成本 参考资源 OpenClaw 官⽹:https OpenClaw 正在重新定义运维⼯作⽅式,你准备好迎接智能运维时代了吗? * 本文基于 OpenClaw v2026.3.2 和 Zabbix 7.0 实践整理,如有疑问欢迎在开源社区交流讨论。
版本至今已经更新了十余版 相信行业内的同学手头都有某个打印版本 做协议分析 少不了流量采集与分析工具 科来的CSNAS与Wireshark等相比 在日志分析、交易时序图等方面独具特点 为了让网络从业者 更好的运维实战网络协议
练习: 在master上配置好所有的yum源,然后拷贝到group1的远程机器上(要求目录内的内容完全一致)
Istio 运维实战 通过将微服务中原本在 SDK 中实现的应用流量管理、可见性、通信安全等服务治理能力下放到一个专门的“服务网格”基础设施中,Istio 解开了微服务的服务治理需求和业务逻辑之间的代码 然而,“服务网格”这一基础设施的引入也给整个微服务的运维技术栈带来了新的挑战。对于运维同学来说,Istio 和 Envoy 的运维存在着较陡的学习曲线。 腾讯云 TCM(Tencent Cloud Mesh)团队是业内最早一批接触服务网格技术的人员之一,有着大量 Istio/Envoy 故障排查和运维经验。 本电子书记录了 TCM 团队从大量实际案例中总结出来的 Istio 运维经验,以及使用 Istio 的最佳实践,希望对大家有所帮助。
dd if=infile.log of=outfile.log bs=1M count=1
这篇文章我们聊聊 Redis 运维实战系列第 8 期--Redis 监控。 Redis 在很多互联网公司都充当着非常核心的角色,因此,监控 Redis 以保证其稳定显得格外重要。 3 主从复制检测 角色检测:执行 info replication 获取 role,如果 role 有变化则告警。 大 key:参考:Redis 运维实战 第06期:Bigkey 热 key:参考:Redis 运维实战 第07期:Hotkey 8 慢查询监控 因为 Redis 单线程特性,慢查询会导致其他命令阻塞,从而导致客户端出现请求超时 专栏《Redis 运维实战》系列文章推荐 Redis 运维实战 第01期:Redis 复制 Redis 运维实战 第02期:Redis Cluster Redis 运维实战 第03期:Codis Redis 运维实战 第04期:AOF 持久化 Redis 运维实战 第05期:RDB 持久化 Redis 运维实战 第06期:Bigkey Redis 运维实战 第07期:Hotkey
下面我们从几个方向聊聊这一集群方案: 1 架构 首先,一起来看看 Codis 的架构图: 这里简单介绍各个组件的作用: Codis Server:Codis 3.x 是由 Redis 3.2.8 分支开发而来 3 Codis 分片 在讲解 Redis Cluster 时,我们知道其有 16384 个虚拟槽,而 Codis,也是使用类似的槽结构,它默认把所有的 key 分为 1024 个槽(这个槽是可以配置,可以设置成 Codis 平滑扩容支持读写分离拥有管理平台多线程 Codis 集群整体性能比单个 Redis 性能有所下降依赖 zk跟不上官方高版本 Redis 的新功能 Twemproxy 分布式 不支持平滑扩容运维难度大单线程 专栏《Redis 运维实战》系列文章推荐 Redis 运维实战 第01期:Redis 复制 Redis 运维实战 第02期:Redis Cluster
3 怎么发现 Bigkey 那么怎么知道某个实例中是否有 Bigkey 呢?
需要的工具如下: 1、JDK 2、Eclipse: 3、python解释器 4、Eclipse下的pydev插件 ---- 具体的编程环境配置如下: 1、需要去Eclipse官网下载Eclipse:http 如果没有下载安装Python,请到官网下载2.x或者3.x版本:http://www.python.org/。 ? ---- 3、编写第一个python程序“Hello world!”
3 怎样发现 Hotkey Hotkey 对 Redis 实例影响这么大,那么应该怎样发现 Hotkey 呢? 当然,这种方式运维成本比较高。 4.3 本地缓存加通知机制 将 Hotkey 放在业务端的本地缓存中,然后使用发布订阅机制保证业务端本地缓存与 Redis 数据一致。 专栏《Redis 运维实战》系列文章推荐 Redis 运维实战 第01期:Redis 复制 Redis 运维实战 第02期:Redis Cluster Redis 运维实战 第03期:Codis Redis 运维实战 第04期:AOF 持久化 Redis 运维实战 第05期:RDB 持久化 Redis 运维实战 第06期:Bigkey
eureka-server ClusterIP None <none> 8761/TCP 17m app=eureka-server 在本系列的上一篇文章『Istio 运维实战系列 中选择一个进行连接 "eds_cluster_config": { "eds_config": { "ads": {}, "resource_api_version": "V3" spec: selector: matchLabels: app: eureka-server serviceName: "eureka-server" replicas: 3 如同我们在本系列的上一篇文章『Istio 运维实战系列(2):让人头大的『无头服务』-上』所介绍的,Headless Service 一般用于定义有状态的服务。 参考文档 All about ISTIO-PROXY 5xx Issues Service Discovery: Eureka Server Istio 运维实战系列(2):让人头大的『无头服务』-上
eureka-server ClusterIP None <none> 8761/TCP 17m app=eureka-server 在本系列的上一篇文章 Istio 运维实战系列 中选择一个进行连接 "eds_cluster_config": { "eds_config": { "ads": {}, "resource_api_version": "V3" 通过查阅 Istio 源码(https://github.com/istio/istio/blob/master/pilot/pkg/networking/core/v1alpha3/cluster.go 如同我们在本系列的上一篇文章『Istio 运维实战系列(2):让人头大的『无头服务』-上』所介绍的,Headless Service 一般用于定义有状态的服务。 Server:https://cloud.spring.io/spring-cloud-netflix/multi/multi_spring-cloud-eureka-server.html Istio 运维实战系列
在上一期《运维专题第2期:警戒哨兵》中,我们介绍的是运维平台中的监控系统——云哨,今天给大家带来的产品是巡检平台,在运维过程中能够跟监控系统一起为客户带来稳定的保障。 这样的产品哪里有 来腾讯专有云,给你不一样的运维服务体验。 笔者认为,首先是易用性,运维产品化也应该遵循产品设计的体验好和易用的要求,运维产品能做到开箱即用就是基本要求; 其次,是自定义能力,因为运维产品是面向运维人员,在 DevOps 潮流的今天,很多运维人员都有一定开发能力 ,那自定义开发的能力也可以是好的运维产品的能力,从而做到运维产品特性的快速扩展; 最后,是智能化,能够针对初级运维人员提供快速解决运维问题的能力,比如自动分析故障、有针对性提供知识库,让运维工作做到高效 ,提高产品SLA,这是运维工作的关键目标。