- 综合排序
- 最热优先
- 最新优先
- 来自专栏祝威廉
运维=平台+数据
运维会比开发更加重要 运维的发展日新月异，曾几何时，运维仅仅是被认知为跑机房，装系统，设计网络，给开发擦屁股。 但是现在运维变得极度重要，运维职责也更加细化，譬如稍大点的公司就将运维划分为基础运维，网络运维，DBA, 应用运维，架构师。 运维发展新方向 之前我写过一篇文章，谈及如何用大数据思维做运维，当然这篇文章有他自己的局限性，只是谈及了运维监控，灌输一种 data based 的理念。 一切服务都是为了帮助数据进行流转和变换，服务的状态也都反应在数据流上，这种瞬态和终态的量是非常大的，所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做运维灌输的概念了。 所以未来运维可以完全依托一个固定的分布式操作系统，在其上开发各种运维工具，利用大数据相关的理念和工具，监控，追踪，分析服务的状态，解决现有的运维工具碎片化，难以复制，难于贡献生态的问题。
4.5K50发布于 2018-08-27 - 来自专栏GitHub专栏
运维专家写给运维工程师的 6 条人生忠告
最近由于新公司需要招聘运维人员，所以接触了大量应聘者，基本都是85后的年轻人。在他们身上看到年轻的活力，也看到浮躁社会留下的烙印。 作为一个奔5的老IT运维人员，真心希望他们少走自己的弯路，能够成就自己的一番事业，所以想对他们说一说心里话。 运维人员与开发人员不同，由于基础架构部分的变动不是很大，因此运维人员是越老越值钱的。 说出来你们可能都不相信，对于网络运维人员我通常问的一个问题是：TCP/IP建立连接的过程是什么？而对于Windows运维人员，我的问题是：Windows域的核心是什么？ 没有坚实的理论基础，无从指导实践，没有大量的实践积累，不能成为好的运维人员，更不用说在这个领域走得长远了。
2.7K20发布于 2020-06-18 - 来自专栏侯哥的Python分享
MySQL运维6-Mycat垂直分库
, receiver_city varchar(6), receiver varchar(20)); create table tb_user(id int auto_increment primary (20)); create table tb_areas_city (id int auto_increment primary key, cityid varchar(6), city varchar int, province_id varchar(6), city_id varchar(6), address varchar(20)); 说明1：根据分库策略，创建的这三个测试表，都是属于用户和地址相关的数据 , city varchar(20), provinceid varchar(6)); 说明5：这时候就会发现tb_areas_procinces和tb_areas_city出现在了三个数据节点上 说明6：当全局表中的数据发生改变的时候，每个数据节点下的表，也都会发生数据改变。
63010编辑于 2023-12-18 - 来自专栏个人总结系列
指标数据运维流程
现状 针对目前大数据异常响应效率低，解决处理定位难，运维压力集中在某几个人等不合理的现状。 针对技术组件方向，建立大数据技术保障组，异常谁发现谁报备到保障组并@组件负责人，组件负责人根据实际情况，业务重要程度，是否发起团队能力协助处理来主要负责处理。 二.
1.4K00发布于 2021-08-14 - 来自专栏散尽浮华
运维相关指标数据采集并ES入仓 - 运维笔记
收集到的应用指标数据最好要进行ES入仓，入到Kafka里面，并通过Kibana可视化展示。 需要进行采集的应用进程相关指标如下： ? 指标值 indexValue CHAR 是 支持批量 指标类别 indexType CHAR 是 安全 测试 运行 应用 环境 指标描述 indexDesc VARCHAR 是 指标说明，指标采集数据源 legao……） 采集时间 collectTime TIMESTAMP 是 支持批量 应用名称 appName CHAR 是 以AIOPS的3位编码为准 主机名 hostName CHAR 否 发送数据源主机 dataSource CHAR 是 脚本路径@主机IP 下面是应用指标数据进行ES入仓的请求说明 测试区接口说明： 访问链接：http://192.168.10.10:10222/haha/heiheiAPI bash shell生成时间戳示例 date +'%s' # bash shell请求示例 curl -s -XPOST -H "Content-Type:application/json" -d 请求数据
1.8K31发布于 2019-07-08 - 来自专栏运维之美
「运维之美」技术周刊 ( 第 6 期 )
这里将分享一些最新运维相关技术和业界资讯的精彩内容，每周五发布。 欢迎投稿或推荐你自己的项目，投稿邮箱: editor@hi-linux.com 。 6、stegify 一款神奇的命令行工具，能将任意文件隐藏到图片里面。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 之后，将以数据库为例，讲解在数据同步的情况下，如何解决数据回环、数据冲突、数据重复等典型问题。 链接：http://t.cn/AiTxAqZv ? 并且需要额外维护一套中间件，运维成本过高。本文将介绍一个类似 MHA 的 master_ip_failover 脚本的方法来实现 VIP 切换。
93850发布于 2019-08-13 - 来自专栏腾讯云TVP
运维数据生态之数据思维
运维数据根据上述运维方式的发展历程逐步构建数据生态，如果我们把运维方式的发展浓缩成运维技术提升和工具建设，那与之相对应的，运维数据的发展也有四个阶段：自动化运维能力、平台化运维能力、数据化运维能力、智能化运维能力 在数据化运维能力中，运维数据已初步形成初步数据生态标准，具备构建运维数据中台和数据可视化，同时也能对数据的进行血缘能力和影响能力的初步分析。 在智能化运维能力中，运维数据已形成较大的规模，因此将运维经验和大数据、机器学习的技术相结合，开发成一系列智能策略，提升运维数据的输出能力，让运维的数据边界延伸至更多的场景。 二、 什么是运维的“数据思维” 运维方式的发展提升了运维人员的基础门槛能力，在现在很多的企业中，运维人员的日常离不开数据，运维的过程和结果靠不靠谱，都可以通过数据来验证。 而运维人员只需要将运维场景的数据和其他第三方数据进行有机的结合，因此运维人员随时看数据，并不需要成为他们，运维服务能力的边界延伸并不意味运维技术的延伸，运维人员跟需要善于运用现有的数据来获得想要的结果和反馈
2.9K2519发布于 2020-06-29 运维管理数智化：数据与智能运维场景实践
数据与智能技术在运维业务中的定位数据与智能技术在运维业务中的应用近几年进入“实用化提升阶段”，无论从供给方，还是需求方，都逐步认识到，“数据与智能”运维有其边界和条件，“AI加持运维”比“AI颠覆运维” 运维大数据在运维的定位：跨多数据源系统，实现配置、运行、操作、流程等维度数据源分析，提升性能容量、观测整合、运营分析等的运维能力。 概要设计：运维大数据及AI是技术能力，核心是应用到运维业务场景中；有三个核心基础：基础运维系统提供数据和能力、数据及AI平台提供数据处理和模型训练能力、运维数据分析及算法工程师和团队提供组织支撑。 而到运维数据平台自身的应用架构，运维数据平台应该具备的核心功能包括数据采集接入、数据清洗加工、数据入库存储、数据开发、数据探索、数据集市等，并且要具备元数据、数据质量和安全等管理能力和自运维能力。 图6: 异常检测模型单指标异常检测可以集成应用到监控产品中，当CPU使用率突降和磁盘使用率突降时，通用单指标异常检测算法可检测出异常点，并在告警中心可以展示告警详情。包括告警内容，以及关联的维度。
3.7K40编辑于 2024-07-17- 来自专栏AI+运维：智能化运维的未来
运维人不再“救火”：数据驱动才是主动运维的底气
运维人不再“救火”：数据驱动才是主动运维的底气 “运维=救火队”？你也太低估它了！作为一个“打过补丁、熬过大夜、啃过故障单”的老运维，我想说句实话：传统运维，说白了就是“哪里着火，往哪儿跑”。 系统挂了，才开始排查；磁盘满了，才开始清理；用户骂了，才知道卡顿……这不是运维，这是“被动接锅侠”！但你别急，这两年形势真变了：数据，开始让运维变“主动”了。 从“亡羊补牢”到“预判于未发”，数据驱动的运维，才是未来的正道。 什么是“数据驱动的主动运维”？一句话解释：就是靠数据说话，不靠报警响了再动手。 ：触发式运维（能动手才叫真主动）接入Webhook联动脚本：异常触发自动扩容、通知、拉日志自定义报警规则+自动Playbook执行构建闭环：数据采集 -> 预警 -> 自动响应❤️ 一点真实感受：运维的未来 说真的，运维这个工种，以前太容易被低估了，感觉就是在修服务器、拉网线。但今天，优秀的运维，靠的是数据思维。你要知道哪里可能出问题，更要知道问题还没来的时候，它已经“动了一下”。
37400编辑于 2025-07-14 - 来自专栏防火墙自动化
运维监控，如何获取数据？
运维如果想做自动化高效化，则少不了搭建监控系统。目前市面上已经有大量成熟、开源的监控平台可供挑选。但如果想实现一个监控系统，或了解监控系统的原理，则可参见本文。 1. 常见运维监控系统划分 常见运维监控系统可按有/无Agent，使用Pull/Push获取数据进行简单划分。 [sqpnqlpbyh.png? 相信运维/开发对此协议都很熟悉，用于监控时，它可以直接输入系统命令从而获得监控数据输出。优点是一次就能获取大量的信息，缺点是交互不好控制和获取到的输出往往需要清洗处理。SSH示例如下。 [14kh6k9qp1.png? 小结 运维监控系统可按“有/无agent”、“使用pull/push获取数据”划分成6类。 Agent实际是一个轻量程序，用于提供系统无法直接提供的数据。
5.5K103编辑于 2022-05-22 - 来自专栏小麦苗的DB宝专栏
Apache Doris元数据运维
这个 bdb 目录相当于 bdbje 的 “数据目录”。 其中 .jdb 后缀的是 bdbje 的数据文件。这些数据文件会随着元数据 journal 的不断增多而越来越多。 从 FE 内存中恢复元数据 在某些极端情况下，磁盘上 image 文件可能会损坏，但是内存中的元数据是完好的，此时我们可以先从内存中 dump 出元数据，再替换掉磁盘上的 image 文件，来恢复元数据 如果你并不十分了解 FE 元数据的运行逻辑，或者没有足够 FE 元数据的运维经验，我们强烈建议在实际使用中，只部署一个 FOLLOWER 类型的 FE 作为 MASTER，其余 FE 都是 OBSERVER ，这样可以减少很多复杂的运维问题！ 所以如 最佳实践 一节中所述，如果你没有丰富的元数据运维经验，不建议部署多 FOLLOWER。
1.6K31编辑于 2023-10-28 - 来自专栏运维之路
4.5.1 他山之石之运维数据
【概要】 ---- 本篇是《数智万物下的运维思考》第4章“平台”的第4节“分析平台”第1小节，主要观点有：： 1、在围绕“监管控析”的运维平台有机躯体上，运维数据平台定位为大脑，承担生产环境所有数据和信息汇总 ）、应用运营几类运维数据出发，挖掘对应厂商对运维数据应用场景的观点。 3、运维数据平台考虑以下几个关注： 关注数据在运维数字化空间的融合作用。 关注提升业务连续性保障、IT交付效率、感知客户体验、产品运营能力的分析能力。 关注运维数据治理、运维指标体系的建设。 ---- 6、业务运营 此处的业务运营指的是业务运行过程中沉淀下来的数据，比如数据库、内存、报文、日志中留下的交易、客户体验等信息，这方面数据的直接价值最大，但标准化程度最难。 6、关注数据平台对云原生的平台及应用架构的支撑能力。 7、关注链路、架构关系、业务运营等数据的构建。 8、关注基于数据的事件驱动能力建设。 end。
1.6K21发布于 2021-03-03 - 来自专栏devops_k8s
做运维的感悟(做运维需要考虑事,运维组织结构,运维学习地图....)
6.部署一个新服务，必须要测试过后才上线，而测试不是安装即可，需要找数据进行深度测试，模拟线上环境。 （6）数据备份 制定数据备份策略，按规范进行数据备份工作。保证数据备份的可用性和完整性，定期开展数据恢复性测试。 数据库运维 数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 运维研发 运维研发负责通用的运维平台设计和研发工作，如：资产管理、监控系统、运维平台、数据权限管理系统等。提供各种API供运维或研发人员使用，封装更高层的自动化运维系统。详细的工作职责如下所述。 确实，【 运维 】可能是分水岭最明显的职位之一：有的人毕业6年，月薪从3K涨到到50K；有的人工作4年，依然做着重启服务器、检查机房的机械工作，这都是知乎上能看到的真实事例。
8.6K1011发布于 2020-12-23 运维那些事儿（6）：做好监控细节，让运维工作事半功倍
但资深运维人都清楚，监控是运维的 “眼睛”“耳朵” 更是 “预警器”，小到一个进程的异常波动，大到整个集群的宕机风险，全靠监控及时通风报信。 运维的核心是保障业务稳定运行，而监控正是实现这一目标的 “最小抓手”。监控里的那些看似不起眼的小事，做好了能让运维效率提升一半，做差了则可能让运维人员熬半宿夜、忙无头绪。 做好监控 “小事”，提升运维效率的小技巧聊完容易忽略的细节，再给大家分享几个实用的小技巧，做好这些，就能轻松提升监控效率，让运维人员少熬夜、少踩坑，把更多精力放在更核心的运维工作上。 形成监控闭环，才能让监控系统持续优化，真正贴合业务和运维需求。✅技巧二：善用 “监控可视化”，让数据 “说话”不少运维人习惯盯着监控面板上的数字看，但单纯的数字过于抽象，很难发现潜在的趋势性问题。 让数据通过可视化的形式呈现，能让运维人员提前发现异常、预判风险，变 “被动等待告警” 为 “主动发现问题”。
19711编辑于 2026-03-16- 来自专栏北京马哥教育
运维 | 运维好数据中心的四大法宝
对于数据中心，运维工作的重要性不言而喻，在数据中心生命周期中运维管理是历时时间最长的一个阶段。 投资巨大的数据中心，为了能够尽快得到收益，就需要在运维的工作上多下工夫，切勿进入“一流设备、二流设计、三流运维”的不良运营之中，高品 质数据中心运维的工作至关重要。 那么如何才能提升数据中心的运维水平，本文提出了数据中心运维工作制胜的四大法宝，做好这四个方面的工作将使数据中心一直 运行于最佳状态，为数据中心创造最大的受益。 通过对数据中心运维而 输出的各种技术文档，将为后来人提供方便，并且可以提升数据中心整体的运维能力。数据中心的文档五华八门，你不知道什么时候其中的哪些文档就会派上用场。 工程文档、业务备份、在线监测、周期巡检是数据中心运维工作的四个重要方面，只有做好这四个方面的工作，才能让数据中心保持长期稳定运行，并能产生良好的效益，是数据中心运维水平高低的主要体现，拥有这四大法宝，将使数据中心终身受益
4K70发布于 2018-05-02 - 来自专栏RocketMQ原理与应用
RocketMQ实战—6.生产优化及运维方案
集群如何进行权限机制的控制2.如何对RocketMQ集群进行消息堆积的追踪3.如何处理RocketMQ的百万消息积压问题4.针对RocketMQ集群崩溃的金融级高可用方案5.为RocketMQ增加消息限流功能保证其高可用6. 那么此时可能就会有一个问题：如果订单团队使用的Topic，被商品团队不小心写入了错误的脏数据，那就可能会导致订单团队的Topic里的数据出错。 此时上报的数据包括：Producer的信息、发送消息的时间、消息是否发送成功、发送消息的耗时。接着，消息到达Broker之后，Broker也会记录消息的轨迹数据。 此外，消费者从RocketMQ里获取到消息后，会依赖NoSQL数据库进行一些业务逻辑的处理。有一天晚上，消费者依赖的NoSQL数据库挂了，导致消费者没法继续从RocketMQ里消费数据进行处理。 6.从Kafka迁移到RocketMQ的双写双读方案假设系统原来使用的MQ是Kafka，现在要从Kafka迁移到RocketMQ，那么这个迁移过程应该怎么做？
68010编辑于 2025-04-15 - 来自专栏AI+运维：智能化运维的未来
大模型进驻运维战场：运维数据处理的智能革命
大模型进驻运维战场：运维数据处理的智能革命在传统运维工作中，数据处理一直是个让人头疼的问题——日志分析、异常检测、告警优化，各种数据纷至沓来，往往让运维人员不堪重负。 如今，大模型技术正在悄然改变这一现状，让运维不再是靠经验“拍脑袋”，而是依赖数据驱动的智能决策。今天，我们就来聊聊大模型技术在运维数据处理中的应用，看看它到底能帮运维人员省多少力。 运维数据为何需要大模型？ 运维环境复杂多变，数据量庞大，数据格式各异，传统分析方法往往吃力不讨好：日志数据庞杂：每天数百万条日志，哪怕是神一样的运维，也难以人工筛查所有问题；异常检测门槛高：规则设定过严，容易误报；设定过松，又可能错过关键故障 运维人员的工作将逐步从“疲于奔命”变为“智能运维”，让数据真正服务于业务增长。总结大模型技术的引入，让运维数据处理迈向智能化。
72710编辑于 2025-05-25 - 来自专栏技术杂记
一个运维人员的编程思维6
， 加工数据 带上这副眼镜，我们再来看看各种编程语言中的各种概念： 什么叫 数据结构 ？ => 数据的约定与表达方式 什么叫 算法 ？ => 数据的加工方法 什么叫 数据类型 ？ => 数据的约定与表达方式 什么叫 变量 ？ => 数据容身之所(其实是临时的)，可以直接代表数据 什么叫 属性 ？ => 数据 什么叫 传参 ？ => 传递数据 什么叫 返回值 ？ => 数据加工的结果，还是数据 什么叫 方法 ？ => 数据的加工步骤 什么叫 函数 ？ => 数据的加工步骤 什么叫 模块 ？ => 打包好的数据和对数据的加工步骤 什么叫 面向对象 ？ => 数据和对数据的加工方法打包在一起，通过数据加工的方式来完成数据传递 什么叫 面向过程 ？
37120发布于 2021-11-26 - 来自专栏阿贤Linux
Linux运维工程师面试题（6）
Linux运维工程师面试题（6）祝各位小伙伴们早日找到自己心仪的工作。持续学习才不会被淘汰。地球不爆炸，我们不放假。机会总是留给有有准备的人的。加油，打工人！ ⾏过⼀样；持久性：在事务完成后，该事务所有的操作都将持久化在数据库中，不会被回滚；⼀致性：在事务开始之前和事务结束之后，数据库的完整性约束并没有被破坏；隔离性：确保在同⼀时间类只有⼀个事务处理某个数据。 6 csrf 是什么？如何防范？ 阿里云、腾讯云、华为云、今日头条、百家号、GitHub、个人博客公众号：阿贤Linux个人博客：blog.waluna.tophttps://blog.waluna.top/---原文链接: Linux运维工程师面试题 （6）.
1.1K30编辑于 2023-09-04 - 来自专栏AI+运维：智能化运维的未来
运维不怕事多，就怕没数据——用大数据喂饱你的运维策略
“运维不怕事多，就怕没数据——用大数据喂饱你的运维策略”咱干运维的都知道，一个系统出问题，往往不是技术没到位，而是问题没及时发现，或者发现了却没找到根因。 一、为什么运维离不开大数据以前的运维更多是“救火队”：监控报警 → 运维接单 → SSH 上服务器排查一顿猛查，找到原因修好 → 继续等下一次报警这套流程的缺点很明显：反应慢：报警来了才动手。 而大数据的价值，就是把海量运维数据“榨干”，让我们：提前预警快速定位自动化决策一句话，大数据让运维从“救火”变成“防火”。二、运维数据从哪来？ 四、运维优化的几种大数据玩法真实场景可不止检测 CPU，这里我给你总结几个高价值玩法：1. 大数据不是替代运维，而是让我们有了更聪明的眼睛和更快的反应速度。如果说传统运维靠经验，那数据驱动运维就是“经验 + 科学”的结合，既有老道的判断，也有算法的精准。
31900编辑于 2025-08-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号