“诗和远方”:-) 总体来看,大多数人认为两者含义并不完全一样,很多人都认为IT运营比IT运维的层次更高,有些成熟度较高的大型IT组织已经提出并在执行“从IT运维到IT运营”的发展规划。 BSM、云计算、运维大数据等新的理念、技术和工具的出现、发展和变迁,都和IT正逐步开始从运维走向运营有密切关系,时至今日,从全局角度来看,可以说企业IT已经站在了从运维到运营的一个重要拐点上。 IT运维阶段,IT组织更多地还是在解决三类人的基本需求,让用户能用,让老板批钱,让员工干活,当然也希望大家更满意,但受限于阶段性能力和各方面因素,先能保证这些基本需求就已经很不容易了,而做到这些,在相当长时间内也已经足够 假如IT部门不能与时俱进,还是停留在满足基本需求的运维上,而不主动向追求卓越的运营迈进,提供更有竞争力的优质IT服务,那就很可能会在几年后会碰到更大的挑战。 以上是关于IT运维到IT运营的一些不成熟的思考,抛砖引玉,希望能得到大家的批评和指教。
Topic的消费kafka-console-consumer.sh More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter More Kafka专栏持续更新中…(源码、原理、实战、运维
当前传统的 ITOM 工具往往缺乏分析能力,虽然也能采集到运维数据,但无法对这些数据所包含的信息进行洞察,更加无法将数据进行知识化的本质提升。 AIOps 为IT运维提供了全新的管理思路。AIOps 的定义涵盖的两个阶段,可概括为两个层次的提升:数据到信息分析层次的提升;信息到知识提取层次的提升。 ? 从数据到信息的分析,更多的是采用数据统计方法,帮助运维相关人员更好地从众多运维数据中了解系统的运行状态,分析并定位故障,实时获取统计数据。 到2022年,40% 的大型企业会通过大数据和机器学习的能力来帮助甚至逐渐取代传统运维中的监控、服务台及自动化流程。 在信息架构与应用系统日渐庞大的今天,如果再通过人工分析定位的运维方式,很难适应目前日益快速增长的业务需求。
crontab -e 编辑任务计划 crontab -l(小写的L) 列出任务计划 crontab -r 删除 crontab -u [username] 指定某个用户 1-5 表示范围1到5 1,2,3 --level 34 network off/on 控制network的等级3和4开关 --add [servicename] 增加一行服务,前提是在/etc/init.d/目录下有文件 --del [
例2:扫描20到25的端口范围,并详细输出。 # nc -v -w 2 -z 192.168.0.100 20-25 例3:扫描1到65535的端口范围,只输出打开的端口(去掉-v参数即可) # nc -w 1 -z 192.168.0.100 /bin/bash #denyhost ip cat /var/log/secure|egrep -i -o "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3 但一般内部系统,由于出口IP相对单一,所以总会被哈希到相同的RealServer。 CentOS 6.1就开始支持RPS了 简单来讲,RPS就是让网卡使用多核CPU的。 > $fileRfc done tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt} 补充一些知识: Linux运维常见系统服务介绍
Topic的消费kafka-console-consumer.sh 3. 持续批量推送消息kafka-verifiable-producer.sh 4. 持续批量拉取消息kafka-verifiable-consumer More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.LoggingMessageFormatter、kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter 3.
背景需求: 准备使用grpc作为服务组间的服务通信协议 问题发生: 本地开发采用mac开发,依赖如下: <dependency> <groupId>org.lognet</groupId 44085753 https://help.aliyun.com/knowledge_detail/41478.html#%E9%80%9A%E8%BF%87%E5%9B%9E%E6%BB%9A%E7%A3%
日常运维工作中,运维及研发同事经常需要查询日志来排查系统异常问题,每次查询日志都需要登录监控系统、查找监控资源、编写日志查询语句,最后再逐行查看日志。这实在是太麻烦了,严重影响了工作效率。 无论是技术小白还是资深运维,都能轻松上手,大幅提升日志查询效率。 自然语言生成查询语句:只需用日常语言描述需求,MCP Server自动生成精准的日志查询语句典型使用场景 1. 运维排障:当系统出现异常时,大模型智能分析当前错误日志,快速定位问题 2. 上报日志到腾讯云日志服务:您可将日志上报至日志服务,使用真实的日志进行查询。也可使用日志服务免费的Demo日志,开启方式详见产品文档。本文以负载均衡CLB Demo日志为例进行演示。 2. 开始对话,例如“查询重庆地域CLB Demo日志主题的日志,统计当前接口错误率,用中文回答” 3. 可进一步分析详细错误情况,例如“分析下其中10条错误日志”
运维平台需要满足新增需求并服务于各种应用场景,一个无可回避的问题已经浮上水面: 如何有效运维这些基础设施? 当前市场上的应对方式,是加大在IT运维服务方面的投入。 根据前几年中国IT运维服务市场的发展形式和对未来发展趋势的分析,我国IT运维服务市场未来几年需求仍然会比较旺盛,前瞻产业研究院预测 2025 年我国IT运维服务市场规模将达到 3668 亿元左右。 除了产业升级、扩大产能等客观需求,一些外在因素使得国内的IT运维升级较之西方发达国家,面临更为猛烈、也更为无序的开局。 科技因素。 IT运维管理(ITOM)软件市场中,交付自动化类和IT运维的核心——监控分析类,占据了约3/ 4 的市场份额。 迎来理想窗口期的IT运维产品国产化替代,并非不得不为,而是时不我待。 老旧的模式、运维系统早已完成IT运维从无到有的历史使命,成为鸡肋;新的模式缺少“吃螃蟹”验证。无数的行业需求举棋不定,以至于还在复刻“流程和标准规范化”的模式,争取让业务增量跑赢人力成本。
第三章、shell经典命令 3.1 Dd命令: 拷贝 infile.log内容 到 outfile.log.
许多Ceph新手在测试环节以及预生产的时候会对Ceph集群的部署以及调优产生困扰,A公司运维小哥也遇到了部署和调优问题。下面来看看A公司运维小哥是如何解决这个问题的。 关卡二:部署调优关(部署) 难度:三颗星 上篇文章开头我也说到了,部署Ceph是新手的噩梦,对于传统运维来说部署一套Ceph是很难的事情,A公司运维小哥在官网以及Ceph中国社区的相关资料和帮助下才渐渐熟悉了什么是 图1:网络问题 第二回合:磁盘问题 解决了网络问题又迎来了磁盘分区的问题,运维小哥折腾了半天没弄好,后来在Ceph中国社区群友的帮助下解决了此事。 而此时就是考验一个运维人员的处理故障的基本素质,好在这个运维小哥有过一两年的经验,经过基本排查,最终确定了是时间问题。由于三个节点时间不一致而导致的这个问题,这里称之为“OSD打摆子”。 所以云平台也好存储也好,都会因为时间而产生不必要的故障问题,建议运维人员要注重时间问题。 ? 图8:Ceph集群 好了言归正传,上图是运维小哥新搭建好的集群。三节点、六个OSD的Ceph小集群。
运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人员转型到云运维人员,尤其是软件定义存储的运维之间经历的沟沟坎坎。 随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展,数据中心的扩容建设进入高峰期,云数据中心运维需求应运而生。 你应该在选择存储介质之前了解到集群的工作负载和性能需求。Ceph使用存储介质有两种方法:OSD日志盘和OSD数据盘。Ceph的每一次写操作分两步处理。 下面贴出来A公司运维小哥根据自己场景需求选择的硬件配置。 欲知后事,且听下文《从传统运维到云运维演进历程之软件定义存储(二)》,主要讲述了A公司运维小哥在硬件选型完毕之后开始部署Ceph遇到的一些问题以及解决办法。
2、影响性能的因素 传统存储的封闭特性带来的优势是从存储操作系统软件到专用硬件的深度优化,而软件定义存储、Server SAN的目的是软件和硬件的解耦合,它们带来了灵活性,免除了硬件厂商锁定,但很多时候却不能充分发挥硬件的潜力 同时,由于网络交互在分布式存储中的引入,给存储的整体“时延(latency)”特性带来了挑战,很多分布式存储系统因没有恒定的低时延无法满足高实时性数据库等应用的需求。 # cd 0.4.2.c3 给予权限执行权限 # chmod a+x *.sh 启动COSbench # . ———————————————- 2.使用Cosbench进行测试 注意:该测试说明基于ceph对象存储测试 编辑wokload 文件 可以参照0.4.2.c3/conf目录下的s3-config-sample.xml workloads xml文件示例:2个节点的3个网关write.xml ?
在这个阶段完成后我们进入到自动化运维阶段。 而实际对于自动化运维可以分为以下三个大部分的内容 运维流程的自动化:包括了巡检,事件问题管理,变更管理,版本发布等 运维配置库:最基本的运维配置管理库,从物理资源到逻辑资源到源代码库到服务库 运维监控的自动化 :自动化数据采集,监控预警,性能分析,后续触发的自动管控操作 对于运维流程最终往往都涉及到运维操作,运维操作最终结果涉及到配置库信息的变更,而对于运维监控本身有可能发现运维类问题并启动相应的运维流程进行处理 在自动化运维里面,我们会很强调工具链这个词,即要实现整个运维自动化涉及到诸多的流程协同,底层更是涉及到诸多的工具协同,而这些工具本身都是单一的完成一种类型的操作任务,如果这些工具间没有协同和集成起来,那么将直接导致我们整个运维过程是存在隔离和断点的 智能运维场景3-风险预测 ? 图片来源网络 在自动化运维阶段,实际上我们已经实现了监控预警和告警,这个相当来说比较简单。
自动化运维平台功能大纲 核心功能1-Dashboard及展示 核心功能2-资产管理及展示 核心功能3-SQL审核及展示 核心功能4-运维工具及展示 核心功能5-堡垒机及展示 ---- 自动化运维平台功能大纲  ---- 工作台  作用:这是我们运维人员平时写周报,日报,月总结,年总结,绩效考核的地方。 功能实现: 将TXT或者是EXECL集成到页面当中即可。 在管理的页面中,也分为三个标签页: ---- 用户 第一个标签页,就是用户,也就是针对用户及用户组的管理,这里涉及到用户的权限 员工权限: 1)运维权限 2)开发权限 3)测试权限 管理员权限: 1)运维总监 2)开发总监 3)测试总监 以及不同用户组的权限,可以看到左边的标签页也不同  还有就是他们每个人,所关联的主机权限也不同。 所有服务器的权限,都控制在运维的手中,所以,所有服务器运维都看的到。 而开发,或许只能看到开发环境的机器,测试只能看到测试环境的机器。
回到最初的Ceph运维工程师的问题,本系列讲述的是传统运维向新一代云运维转型之软件定义存储部分的转型,运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。 1.通过tell 命令在线修pool的副本数,并修改配置文件且同步到所有节点。 #保险起见,最好把MON和OSD关于副本数的选项都修改。 2. 好了,最后一篇文章到此结束,在本系列开头讲到随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展,数据中心的扩容建设进入高峰期,云数据中心运维需求应运而生。 因此,云数据中心的运维对于传统的运维人员提出了新的能力要求——不仅要熟悉传统硬件设备,同时要掌握虚拟化、云系统的部署、监控和管理等运维能力。 通过九篇文章简单介绍了下传统运维向云运维或者说是传统运维向SDS运维的转型之路。
关卡五:Ceph灾备神兵利器-故障域 重要度:五颗星 转眼六篇文章过去了,还记得大明湖畔(本系列一)的运维小哥吗? 勿忘初心,咱们还是回到最初的运维小哥,运维小哥经历了硬件选型、部署、调优、测试的一系列转型的关卡,终于就要到最后的上线了。 运维小哥最初的梦想搭建一个Ceph存储集群,对接云服务,底层存储实现高可用的数据访问架构。 根据存储管理平台的需求和集群规模,需要实现: 将物理环境按高可用的拓扑架构规划好,并且完成存储集群部署。 将24台服务器分别规划在3个机架上,每个机架8台服务器,每个机架设置为一个故障域,创建一个3副本存储资源池,数据副本自动分布到不同故障域中,也是分布在不同机架上,保障数据安全。
上回书讲完了部署,部署完成之后,就开始了无休止的调优,对于Ceph运维人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph运维。 调优是件非常头疼的事情,下面来看看运维小哥是如何调优的,运维小哥根据网上资料进行了一个调优方法论(调优总结)。 在Linux的各种发行版中,为了保证对硬件的兼容和可靠性,很多内核参数都采用了较为保守的设置,然而这无法满足我们对于高性能计算的需求,为了Ceph能更好地利用系统资源,我们需要对部分参数进行调整。 有时候我们会发现,在物理内存还有剩余的情况下,交换分区就已经开始被使用了,这就涉及到kernel中关于交换分区的使用策略,由vm.swappiness这个内核参数控制,该参数代表使用交换分区的程度:当值为 设定Linux操作系统参数:vm.swappiness=0,配置到/etc/sysctl.conf。
3、基于存储网关的数据保护。 现在最流行的存储双活方式有两家的数据保护方案最为有名,分别是IBM公司的SVC解决方案以及EMC公司的Vplex解决方案(具体的方案特点在此不做详述)。 可以在多地间依据企业需求做到数据的实时或者异步的保护。 但是缺点同样显而易见,及存储网关作为一个总的数据流量出入口本身就可能成为一个瓶颈! 部分备份软件利用自身私有协议,将在本地的备份数据远程同步到远端的备份节点上。 这种方式有效做到了带宽的有效利用和数据的高一至性。但是缺点也非常明显,既无法做到业务的实时可用。
上回书讲到了运维小哥的调优方法论(上),对于Ceph运维人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph运维。调优是件非常头疼的事情,下面来看看运维小哥是如何调优的。 Linux 2.4内核之后引入了将特定中断绑定到指定的CPU的技术,称为中断亲和(SMP IRQ affinity)。 Linux中所有的中断情况在文件/proc/interrupt中记录: ? 中断记录情况 3.硬件加速 在大多数情况下,CPU需要负责服务器中几乎所有的数据处理任务,事实上CPU并不如我们想象中的那样强大,在大量的数据处理中往往显得力不从心,于是便有了硬件加速技术。 (3)减少内存拷贝 普通网卡先将接收到的数据在服务器的缓冲区中复制一份,经系统处理后分配给其中一个TCP连接,然后,系统再将这些数据与使用它的应用程序相关联,并将这些数据由系统缓冲区复制到应用程序的缓冲区 TOE网卡在接收数据时,在网卡内进行协议处理,因此,它不必将数据复制到服务器缓冲区,而是直接复制到应用程序的缓冲区,这种数据传输方式减少了部分内存拷贝的消耗。