而运维在这个生命周期中的每个阶段都有可能参与: 设计阶段: 主要针对系统架构设计的合理性进行评估,包括是否存在单点,是否可以容错,是否有强耦合等。 通过运维的基本工作,我们来看看一个运维人员需要掌握的知识体系: 操作系统: Ubuntu,CentOS,Redhat web: nginx,apache ,tomcat 监控: zabbix ,如果要拓展的还有很多,比如安全方向的,fail2ban ,比如测试工具sysbench 等等。 在众多的技能体系中,很多人习惯于研究一个又一个关键永远都学不完。其实运维的发展是从最原始的人工阶段慢慢过渡到工具和自动化阶段,最后才是平台化阶段。 很多人提高了智能运维,其实智能运维的应用已经在国内的百度,搜狗,阿里等企业开始尝试和摸索。 目前智能运维主要被用于故障分析,根据故障的现象,快速定位问题。
先谈流程体系的建设: 新时代的运维已经不涉及IDC机房,交换机,路由器,服务器硬件,各种中间件和基础组件。 这种现状会让运维会站在从研发到应用交付的层面上看待运维保障工作,因此运维的规划可以集中在研发效能体系建设,监控体系建设,变更体系建设,最后是运营体系建设。 先谈一下基础体系--变更体系,线上的变更:涉及到运维基础层,运维应用层,应用层,业务层, 变更的所属层级越低,影响面和破坏力就越大。 专业技术方面的建设: 发现问题是监控体系干的事情,解决问题是运维事件管理/运维问题管理等偏向技术运营体系干的事情, 两者相互促进。 例如: 监控系统有告警事件,反馈某个接口超时,10秒后自动恢复了, 断断续续出现过2次,但业务层无告警/也无用户投诉。应用运维对此事件可以深入调查,也可以忽略。
这是学习笔记的第 1890 篇文章 今天把运维开发的体系做了一层梳理,基本把一个整体的脉络理清楚了,这部分的内容也会不断萃取和整理,希望能够给大家一些参考。 ? 所以把shell也揉入了进来,基本的系统管理和脚本开发是运维开发的基本功。 基于web的运维开发技术,是在基础开发的部分衍生出来的,掌握了基本的Python技术不一定能够完全掌握基于web的开发技术,因为不是完整的一个技术栈,web方向涉及的知识体系相对要大得多,而且会很杂。 架构和设计是运维开发里面的难点部分,其中自动化运维的架构设计部分就好比是画一幅画,如果把轮廓画好了,基本上画的质量和效果是可以预见的。一个松散没有良好架构设计的系统是很脆弱的,也是经不起考验的。 运维管理模块我会主要从基础运维,备份恢复,高可用管理,分布式管理几个部分进行产品设计和集成实现。
文章目录 ConfigCommand 1 查询配置 Topic配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 查询kafka版本信息 2 增删改 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type value 示例 consumer_byte_rate producer_byte_rate request_percentage More Kafka专栏持续更新中…(源码、原理、实战、运维
运维知识体系 基础设施层 公有云,私有云(OpenStack/cloudstack + KVM/XEN,oVirt), 混合云 服务监控 配置管理 硬件选型、配件更换、资产录入、系统安装(Cobbler 监控体系:数据库监控 自动化/DevOps:数据库运维平台 云计算:云数据库-RDS, Mongodb, Redis, Memcached, OceanBase 大数据----Hadoop生态圈(HDFS 运维管理体系 ITSM ITIL V3 IT Service CMM Six Sigma DevOps Master 项目管理(PMBok) 知识体系 运维方案 容量规划 灾备规划 服务降级 运维协助 性能测试(TCPCopy,日志转换) 单机监控(nmon) 环境规划(开发,测试,预生产,生产) CI(持续集成)自动化部署 Operations as a Service 运维咨询 运维托管 技术培训 应急处理 产品即服务 DevOps专家服务 参考: 运维知识体系
运维行业正在变革,推荐阅读:30万年薪Linux运维工程师成长魔法 运维流程管理工具 发布变更流程管理工具:做为系统接口与其他角色的工作衔接。并提供审批环节控制发布变更的风险。 运维发布变更工具 版本管理工具(数据库):所有的发布应该以版本管理为起点。研发给的版本包先入版本管理工具,再从版本管理工具分发到现网发布。杜绝 rsync 一台服务器发布另外一台的做法。 资源管理和隔离工具:以xen/kvm为代表的工具让运维可以更灵活的切割资源。比如虚拟机的快速起停,ip在idc内的漂移等。以 lxc/docker 为代表的工具让运维可以进一步的切割资源到进程级别。 运维监控告警工具 采集工具:一般是采集日志文件,也可以是定时轮询 DB 或者其他系统的接口。流行的开源方案是 logstash。 收集工具:采集工具上报给收集工具。 运维事件数据库:记录所有的告警。包括从其他系统获得告警,以及对现网的所有变更操作记录。这些数据用于支撑告警的原因定位。
这是学习笔记的第 2367篇文章 在大概4年前,我们算是从0到1的构建了现在的数据库运维开发体系,这个过程有较长的启动周期,从我个人主导到后来的成员独当一面,从零星的功能建设到现在有了相对体系化的建设 运维开发这件事情的理念契合,我们花了很长的时间,限于有限的资源和技术储备,我最终选择了Python技术栈,其实第1年是最让我焦虑的,这种焦虑打个比方,就好像我是司机,手里拿着方向盘,车上的乘客的心态是和我完全不同的 Python技术体系的学习和构建。 当然在这个过程中也总结了一些经验,比如对于模块化的思考,早期的OpsManage体系的构建是一个相对独立的Python服务,随着业务的接入,有了MySQL,Redis等数据库,为了对一些运维功能和技术栈有所区别 整体的步调如下: 1)梳理现有Python 2.7技术栈的代码情况 2)第一次瘦身在现有Python 2.7的基础上完成,删除荣誉的代码模块和页面 3)完成新一版本的模型设计 4)新版本的模型设计在新环境中构建测试
配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 broker-loggers 查询指定Broker的Logger相关配置 查询kafka版本信息 2 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type
内容来源:2018 年 10 月 20 日,源数据库论坛(ODF)发起人周彦伟在“ODF走进名企之贝壳技术沙龙-数据库存储技术的多元应用”进行《使用ArkControl实现MySQL运维体系建设》的演讲分享 阅读字数:2384 | 6分钟阅读 摘要 本次分享的是如何使用ARkcontrol来搭建mysql的运维体系,从功能、架构以及安装内容上来详细介绍ARkcontrol。 最终我们做了一款叫ArkControl的产品,他是一个云管平台,社区版可以免费下载使用,可以一键实现一个比较全面的mysql运维体系,不用花费太多成本就能实现一些数据库运维的基本功能,至少不用再通过命令发去安装 最左侧从主机管理到下面的审核审计这部分展示的是AkrContro能提供的功能,这些都是为了满主开发者对数据库运维的需求。 还有很重要的一块,也是今后我们发展的重点——智能运维,包括数据库的智能优化,智能的诊断和巡检。实现逐步的从人工的运维转化为智能运维,类似最优化接口或最优化配置等功能。
在之前的文章中,谈到过【运维的本质--可视化】,在可视化的篇幅中,着重介绍自动化的可视化和数据的可视化;在后续的篇章中又介绍了【互联网运维的价值体系】,里面分解了几个维度:质量、成本、效率、安全等。 找到一个价值方向来牵引整个团队很难,但又必须找到,因这个牵引力就决定了团队的气质及后续的工作方法;之前的【运维价值体系】有详述,在此不细谈。 和之前【数据驱动运维】介绍过的,我做了一个数据的分层体系。 8、监控及服务,有数据的地方才有监控。脱离这个原则,你做的都是告警。 但对于这么一个庞大的复杂体系来说,不可能一蹴而就,有些经验可以借鉴: 1、自底向上。一定要把握这个原则,这就相当于我们造车一样,把各个零件造好了,最后就是组装。 2、加强跨团队之间的合作与沟通。 3、平台建设先后有序,优先级顺序如下: P1(最高):CMDB、基础架构及服务、数据及服务、监控及服务 P2(次高):持续集成、面向业务的运维平台 P3(低):ITIL相关、运维统一门户 以上所有供参考和讨论
我写这个文章的动机,还是因为在会后很多人问我,“一个全局的运维体系应该是什么样的?”。这篇文章就给大家一个初步的回答。 ? 价值体系(value) 我在任何场合都在强调运维价值/IT价值和用户价值之间的关系,在精益运维的分享中,我推导过,用户价值可以通过IT价值相互转换的。 那Dev技术架构体系和我运维有什么关系呢?他决定了你维护成本的大与小,维护质量的高与低,维护效率的快与慢!否则,你只盯着运维平台,认为都是平台的事情。 技术标准有了,业务的碎片便没有了! 平台体系(platform) 运维的平台体系,这个我在外面讲得很多了。 不基于产品的执行路径,大到你的运维目标设定和分解下来的roadmap,比如说运维平台体系的构建;小到你的运维流程,比如说事件流程、资源池管理流程等等。
直达原文:大模型在蓝鲸运维体系应用——蓝鲸运维开发智能助手背景1、运维转型背景蓝鲸平台从诞生之初,就一直在不遗余力地推动运维转型,让运维团队可以通过一体化 PaaS 平台,快速编写脚本,编排流程,开发运维工具 为了让运维人员更快成长为“六边形运维”(参考《在线跟腾讯工程师学习 SaaS 开发》,泛指运维界的六边形战士,特指掌握了运维开发技能的运维人群),降低运维开发 SaaS 的难度,蓝鲸不仅提供了蓝鲸开发框架 2、大模型对运维开发带来的挑战和机遇最近几年,大模型的爆发式发展为开发和运维行业带来新的变革,2021 年 7 月 1 日,由 GitHub 和 OpenAI 共同开发的人工智能编码助手——Copilot 2、知识总结大模型可以提取文本知识的关键信息,生成摘要,使得用户能够快速了解长篇文章或报告的主要内容。 直达原文:大模型在蓝鲸运维体系应用——蓝鲸运维开发智能助手
本文来自腾讯蓝鲸智云社区用户: CanWay背景1、运维转型背景蓝鲸平台从诞生之初,就一直在不遗余力地推动运维转型,让运维团队可以通过一体化PaaS平台,快速编写脚本,编排流程,开发运维工具,从被动地提供运维支撑服务 为了让运维人员更快成长为“六边形运维”(参考《在线跟腾讯工程师学习SaaS开发》,泛指运维界的六边形战士,特指掌握了运维开发技能的运维人群),降低运维开发 SaaS 的难度,蓝鲸不仅提供了蓝鲸开发框架, 2、大模型对运维开发带来的挑战和机遇最近几年,大模型的爆发式发展为开发和运维行业带来新的变革,2021 年 7 月 1 日,由 GitHub 和 OpenAI 共同开发的人工智能编码助手——Copilot SQL语句生成应该与其它的 Copilot 的代码生成方式更优化,分成以下步骤:1.用户直接在前端页面选择数据源,输入文本,描述需要生成的 SQL 的功能;2.运维开发平台将数据库表结构和用户输入文本进行格式化整合后 需求文档生成应用更复杂点的场景,运维开发希望能根据业务需求,经过少量人为交互,可以直接生成最终的页面和应用,这个步骤会更加复杂:1.开发者输入完整的需求,如“新建一个年会打卡抽奖系统”;2.大模型先根据描述拆解任务
但随着后面应用运维的运维平台的一体化能力不断增强(比如说腾讯织云/蓝鲸),此时就对底层的运维平台能力开放性要求越来越高。 当然这个地方我建议分成如下三个阶段: 1、独立的按照核心角色需求建设运维平台。 比如说GSLB管理平台,优先考虑域名管理员的管理需求,如域名管理/Zone管理/View管理/IP地址库管理等等 2、某些场景开放给应用运维平台人工处理。 2、资源域。 以上的域名能构成一个全自动化平台的能力体系。 5、监控域。 精细化/实时/端到端的数据采集/处理/分析体系是运营价值的核心部分。 坚持产品的垂直与水平闭环体系,才是一个做出一个真正好用的运维平台!
1 需求 运维是事件驱动,还是自驱动可能是我们在运维工作中不太关注的问题。事件驱动让运维止步于故障,而自驱动让运维不止于建设。 持续性的运维建设就需要一套自动化的运维体系,那么我们应该从何入手? 其实前期《运维思考》一系列文章已经给我们答案了,就是从运维框架入手分层建设、打好基础,记住“万丈高楼平地起,勿在浮沙筑高台”。 2 运维框架图片 通常讲到运维建设,我们脑海中首先浮现的是“一团麻”,因为这不是一个人、一个岗位的工作,而是一整个团队的工作;所以我们将“这团麻”进行由底层向上可划分为:IT基础设施层 3 运维依据如果你觉得运维框架还不够细致,那么针对框架中各个层次的工作拆解就来了,我们在此将其称之为运维依据。
有一种努力一直放在心中,想更系统的表现运维,内心的这份冲动源于两点: 1.在互联网化业务的今天,运维的作用可以被更重视。 2.运维需要更体系化,更理论化,更实践化的阐述。 在之前,我用过价值化运维来概括过运维,我也多次在文章中或公开演讲中提到运维应该关注“面向用户的价值“,但我依然觉得还是不够精炼。 直到后来想到了“精益“这个词,把它和运维做了一次融合,只因精益思想的背后,很多观点都和我们运维很契合。接下来看看我在《全球运维大会|上海站》上分享的主题——面向高性能IT的精益运维体系。 精益运维团队也需要有“精益”的气质,里面有对一线运维人员的经验和价值的尊重和重视;内建价值体系,仅仅质量体系还不够,分质量/成本/效率/安全等等。 ? 如何达到精益运维,这个时候需要一些标准实践。 比如说自动化一切/持续交付;运维和线上服务的度量;端到端监控;标准化,无论是业务的标准化还是工具的标准化等等。 这只是一个初步的精益运维体系框架,还有很多内容值得细化和深入。
运维要做的事情与岗位职责内容密切联系,可能有了运维要做的事情需求,因此设置了岗位和人员,但也有因为有了这个岗位的人,因此创造了一些运维事情。 这有点“鸡生蛋、蛋生鸡”的逻辑。 1 运维系统架构 每个公司的IT 环境,不论大小复杂度,总会有个系统架构层次。有了这个架构体系,那所有的运维事情大体都围绕着这个系统架构上的每个元素及整体进行运维保障工作。 去IOE 过程,其实是系统架构的更新换代,产品的更新换代,运维理念的更新换代,运维人员的更新换代,知识体系的更新换代,等等。因此如果贸然去IOE,可能既不会降低成本,也不会提高效率,更不会稳定架构。 自身业务是否真正需要大数据、云计算以及分布式这种海量运维体系。 是否已经考虑好系统架构、运维理念、人员、知识更新换代的方案。 2 运维工作层次分类示例 例如《海量运维、运营规划》(作者:唐文)一书,作者很有观点地概括了运维要做的事情,他以质量、效率、成本为核心,从运营规划、管理、流程/规范、系统/平台、监控、告警、安全、优化、
一个好的运维产品分层体系,是运维平台理解清晰与否的标志。 建设一个完整的运维平台,绝非一日之功,也非一两个平台所能覆盖,因此我非常喜欢用分层体系来归纳问题。 无论是整体运维产品的规划体系,还是自动化体系,还是数据化体系,甚至说CMDB平台的资源体系,都可以用分层归纳总结。以下是我对运维产品整体分层体系的理解: ? 该能力在依赖平台的同时,更依赖的是运维团队的业务理解能力和经验总结。 这一层的能力都表现为一个具体的产品形式+运营方法,从而确保能够很好的闭环起来。 ;是基于角色的,而非基于单一用户的--运维的角色能过清晰定义场景需求,用户的需求往往是片面而不真实的需求;基于事务的,而非基于职能的--事务能过跨越职能组,让运维组织的自动化和数据能力流动起来; 平台能力是指基于底层平台构建起来的运维自动化 通用能力层 通用能力层是基于基础设施之上封装的公共服务能力,这层架构的能力分成两部分:一部分是面向业务技术架构的,另一部分是面向运维服务架构的。
运维平台的概念被泛化近几年行业发展和客户实践,运维体系和运维架构得到蓬勃的发展,各种概念和实践层出不穷,而关于运维平台,主流声音和理解有几种:平台工程平台工程是Gartner发布2023年十大战略技术趋势 SRE体系SRE是一套旨在通过软件工程的方式提高应用可靠性的体系,用软件工程的管理和技术方法来解决运维问题的体系,其中特别强调主动管理和规避风险,包括如运维工作限制在50%以内、面向不确定性来设计、尽可能的自动化和简单化 为了更好地实践,国内通常会选择基于可支持运维开发的运维平台,以此来迅速构建运维系统的软件工程能力。虽然这与运维的平台化有所重合,但并未深入探讨SRE体系与平台之间的关联。 ,以及和业务域关联集成设计组成,因而运维管理抽象成运维业务,是工具体系建设的起点,而工具体系是承接运维业务和运维管理落地的一种能力。 这也是很多企业发现构建了监管控的基本运维系统体系,但实质的运维活动没有很好的改进和变化的原因。
当然是GOPS全球运维大会--腾讯运维体系专场了,几位老师给大家带来了一场思想盛宴。活动圆满结束!~ ? 下面跟着小编来去看看活动现场盛况,感受几位讲师的风(yan)采(zhi)吧。 ? 首先,让我们隆重地请出本次专场活动的出品人兼主持人--腾讯运维总监聂鑫,从开发到运维,伴随社交网络运营部成长的十年,负责过腾讯社交产品所有业务运维工作,见证了整个SNG运维体系的建立,发展和成熟过程。 运维基础技术持续演进,自动化能力提升,业务高效调度实现,最终实现支撑一人万台运维,高效自动化运维先进体系搭建,以及AIOps能力。小编在台下听到有人夸赞老师有深邃的眼神,嗯,我去私信转达一下老师。 分享以QQ、Qzone等社交业务一人运维2万台设备的实战经验为基础,从社交业务的基础架构解密海量服务是如何保证高可用和快速流量切换;在接入层和逻辑层我们坚持了哪些原则去实现服务的整齐划一和高效维护;在面对社交业务春节红包和零点高峰等场景 ~ 就在4月14日本次专场下午2点,重要的事情说三遍: 织云Lite发布了! 织云Lite发布了! 织云Lite发布了! 开箱即用,终身免费!