- 综合排序
- 最热优先
- 最新优先
- 来自专栏祝威廉
运维=平台+数据
运维会比开发更加重要 运维的发展日新月异，曾几何时，运维仅仅是被认知为跑机房，装系统，设计网络，给开发擦屁股。 但是现在运维变得极度重要，运维职责也更加细化，譬如稍大点的公司就将运维划分为基础运维，网络运维，DBA, 应用运维，架构师。 运维发展新方向 之前我写过一篇文章，谈及如何用大数据思维做运维，当然这篇文章有他自己的局限性，只是谈及了运维监控，灌输一种 data based 的理念。 一切服务都是为了帮助数据进行流转和变换，服务的状态也都反应在数据流上，这种瞬态和终态的量是非常大的，所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做运维灌输的概念了。 所以未来运维可以完全依托一个固定的分布式操作系统，在其上开发各种运维工具，利用大数据相关的理念和工具，监控，追踪，分析服务的状态，解决现有的运维工具碎片化，难以复制，难于贡献生态的问题。
4.5K50发布于 2018-08-27 - 来自专栏个人总结系列
指标数据运维流程
现状 针对目前大数据异常响应效率低，解决处理定位难，运维压力集中在某几个人等不合理的现状。 针对技术组件方向，建立大数据技术保障组，异常谁发现谁报备到保障组并@组件负责人，组件负责人根据实际情况，业务重要程度，是否发起团队能力协助处理来主要负责处理。 二.
1.4K00发布于 2021-08-14 - 来自专栏散尽浮华
运维相关指标数据采集并ES入仓 - 运维笔记
收集到的应用指标数据最好要进行ES入仓，入到Kafka里面，并通过Kibana可视化展示。 需要进行采集的应用进程相关指标如下： ? 指标值 indexValue CHAR 是 支持批量 指标类别 indexType CHAR 是 安全 测试 运行 应用 环境 指标描述 indexDesc VARCHAR 是 指标说明，指标采集数据源 legao……） 采集时间 collectTime TIMESTAMP 是 支持批量 应用名称 appName CHAR 是 以AIOPS的3位编码为准 主机名 hostName CHAR 否 发送数据源主机 dataSource CHAR 是 脚本路径@主机IP 下面是应用指标数据进行ES入仓的请求说明 测试区接口说明： 访问链接：http://192.168.10.10:10222/haha/heiheiAPI bash shell生成时间戳示例 date +'%s' # bash shell请求示例 curl -s -XPOST -H "Content-Type:application/json" -d 请求数据
1.8K31发布于 2019-07-08 运维管理数智化：数据与智能运维场景实践
数据与智能技术在运维业务中的定位数据与智能技术在运维业务中的应用近几年进入“实用化提升阶段”，无论从供给方，还是需求方，都逐步认识到，“数据与智能”运维有其边界和条件，“AI加持运维”比“AI颠覆运维” 运维大数据在运维的定位：跨多数据源系统，实现配置、运行、操作、流程等维度数据源分析，提升性能容量、观测整合、运营分析等的运维能力。 概要设计：运维大数据及AI是技术能力，核心是应用到运维业务场景中；有三个核心基础：基础运维系统提供数据和能力、数据及AI平台提供数据处理和模型训练能力、运维数据分析及算法工程师和团队提供组织支撑。 数据治理框架核心要定义几个问题：运维数据之间的逻辑和关联设计如何做？运维大数据平台的定位？数据消费场景如何持续建设？数据与AI如何统一建设？ 而到运维数据平台自身的应用架构，运维数据平台应该具备的核心功能包括数据采集接入、数据清洗加工、数据入库存储、数据开发、数据探索、数据集市等，并且要具备元数据、数据质量和安全等管理能力和自运维能力。
3.6K40编辑于 2024-07-17- 来自专栏防火墙自动化
运维监控，如何获取数据？
运维如果想做自动化高效化，则少不了搭建监控系统。目前市面上已经有大量成熟、开源的监控平台可供挑选。但如果想实现一个监控系统，或了解监控系统的原理，则可参见本文。 1. 常见运维监控系统划分 常见运维监控系统可按有/无Agent，使用Pull/Push获取数据进行简单划分。 [sqpnqlpbyh.png? 相信运维/开发对此协议都很熟悉，用于监控时，它可以直接输入系统命令从而获得监控数据输出。优点是一次就能获取大量的信息，缺点是交互不好控制和获取到的输出往往需要清洗处理。SSH示例如下。 系统文件读取的系统的运行数据，应用数据文件读取的是应用的运行数据。仅以系统文件举例，例如Linux系统的监控，大多可以靠读取/proc/目录下的文件实现。 小结 运维监控系统可按“有/无agent”、“使用pull/push获取数据”划分成6类。 Agent实际是一个轻量程序，用于提供系统无法直接提供的数据。
5.5K103编辑于 2022-05-22 - 来自专栏AI+运维：智能化运维的未来
运维人不再“救火”：数据驱动才是主动运维的底气
运维人不再“救火”：数据驱动才是主动运维的底气 “运维=救火队”？你也太低估它了！作为一个“打过补丁、熬过大夜、啃过故障单”的老运维，我想说句实话：传统运维，说白了就是“哪里着火，往哪儿跑”。 系统挂了，才开始排查；磁盘满了，才开始清理；用户骂了，才知道卡顿……这不是运维，这是“被动接锅侠”！但你别急，这两年形势真变了：数据，开始让运维变“主动”了。 从“亡羊补牢”到“预判于未发”，数据驱动的运维，才是未来的正道。 什么是“数据驱动的主动运维”？一句话解释：就是靠数据说话，不靠报警响了再动手。 ：触发式运维（能动手才叫真主动）接入Webhook联动脚本：异常触发自动扩容、通知、拉日志自定义报警规则+自动Playbook执行构建闭环：数据采集 -> 预警 -> 自动响应❤️ 一点真实感受：运维的未来 说真的，运维这个工种，以前太容易被低估了，感觉就是在修服务器、拉网线。但今天，优秀的运维，靠的是数据思维。你要知道哪里可能出问题，更要知道问题还没来的时候，它已经“动了一下”。
35600编辑于 2025-07-14 - 来自专栏小麦苗的DB宝专栏
Apache Doris元数据运维
这个 bdb 目录相当于 bdbje 的 “数据目录”。 其中 .jdb 后缀的是 bdbje 的数据文件。这些数据文件会随着元数据 journal 的不断增多而越来越多。 从 FE 内存中恢复元数据 在某些极端情况下，磁盘上 image 文件可能会损坏，但是内存中的元数据是完好的，此时我们可以先从内存中 dump 出元数据，再替换掉磁盘上的 image 文件，来恢复元数据 如果你并不十分了解 FE 元数据的运行逻辑，或者没有足够 FE 元数据的运维经验，我们强烈建议在实际使用中，只部署一个 FOLLOWER 类型的 FE 作为 MASTER，其余 FE 都是 OBSERVER ，这样可以减少很多复杂的运维问题！ 所以如 最佳实践 一节中所述，如果你没有丰富的元数据运维经验，不建议部署多 FOLLOWER。
1.6K31编辑于 2023-10-28 - 来自专栏腾讯云TVP
运维数据生态之数据思维
运维数据根据上述运维方式的发展历程逐步构建数据生态，如果我们把运维方式的发展浓缩成运维技术提升和工具建设，那与之相对应的，运维数据的发展也有四个阶段：自动化运维能力、平台化运维能力、数据化运维能力、智能化运维能力 在数据化运维能力中，运维数据已初步形成初步数据生态标准，具备构建运维数据中台和数据可视化，同时也能对数据的进行血缘能力和影响能力的初步分析。 在智能化运维能力中，运维数据已形成较大的规模，因此将运维经验和大数据、机器学习的技术相结合，开发成一系列智能策略，提升运维数据的输出能力，让运维的数据边界延伸至更多的场景。 二、 什么是运维的“数据思维” 运维方式的发展提升了运维人员的基础门槛能力，在现在很多的企业中，运维人员的日常离不开数据，运维的过程和结果靠不靠谱，都可以通过数据来验证。 而运维人员只需要将运维场景的数据和其他第三方数据进行有机的结合，因此运维人员随时看数据，并不需要成为他们，运维服务能力的边界延伸并不意味运维技术的延伸，运维人员跟需要善于运用现有的数据来获得想要的结果和反馈
2.9K2519发布于 2020-06-29 - 来自专栏运维之路
4.5.1 他山之石之运维数据
【概要】 ---- 本篇是《数智万物下的运维思考》第4章“平台”的第4节“分析平台”第1小节，主要观点有：： 1、在围绕“监管控析”的运维平台有机躯体上，运维数据平台定位为大脑，承担生产环境所有数据和信息汇总 ）、应用运营几类运维数据出发，挖掘对应厂商对运维数据应用场景的观点。 3、运维数据平台考虑以下几个关注： 关注数据在运维数字化空间的融合作用。 关注提升业务连续性保障、IT交付效率、感知客户体验、产品运营能力的分析能力。 关注运维数据治理、运维指标体系的建设。 得益于他们对“监管控”落地全家桶式的解决方案，加上围绕运维数据平台中专门打造的运维数据平台、日志、统一事件、可视化工具，从纸面上看，提供了相对齐全的运维数据分析能力。 统一的监控性能指标数据。 3、关注运维数据治理、运维指标体系的建设。 4、关注运维数据平台在多源、实时、海量的数据汇集能力，与低代码的数据开发，数据开放与输出的平台能力。 5、关注AIOps解决未知问题的数据分析能力。
1.6K21发布于 2021-03-03 - 来自专栏devops_k8s
做运维的感悟(做运维需要考虑事,运维组织结构,运维学习地图....)
做运维需要考虑的事 简介 /* 运维是在于一个量 最少的人，最多的事 并且保证业务 比如说google的一个数据中心，只有几个人在维护 运维不能直接的创造价值，而是可以变相的节约成本 （7）资产管理 记录和管理运维相关的基础物理信息，包括数据中心、网络、机柜、服务器、ACL、IP等各种资源信息，制定有效的流程，确保信息的准确性；开放API接口，为自动化运维提供数据支持。 数据库运维 数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 运维研发 运维研发负责通用的运维平台设计和研发工作，如：资产管理、监控系统、运维平台、数据权限管理系统等。提供各种API供运维或研发人员使用，封装更高层的自动化运维系统。详细的工作职责如下所述。 要做DBA，就要专门研究数据库，搞清楚数据库的原理结构，每个详细点。 每一门往后都有大量的东西要学习的，专精才能钱多，并且有成长。 不过当前都在往运维开发方向靠拢，未来的运维都要会一些开发才行。
8.5K1011发布于 2020-12-23 - 来自专栏北京马哥教育
运维 | 运维好数据中心的四大法宝
对于数据中心，运维工作的重要性不言而喻，在数据中心生命周期中运维管理是历时时间最长的一个阶段。 投资巨大的数据中心，为了能够尽快得到收益，就需要在运维的工作上多下工夫，切勿进入“一流设备、二流设计、三流运维”的不良运营之中，高品 质数据中心运维的工作至关重要。 那么如何才能提升数据中心的运维水平，本文提出了数据中心运维工作制胜的四大法宝，做好这四个方面的工作将使数据中心一直 运行于最佳状态，为数据中心创造最大的受益。 通过对数据中心运维而 输出的各种技术文档，将为后来人提供方便，并且可以提升数据中心整体的运维能力。数据中心的文档五华八门，你不知道什么时候其中的哪些文档就会派上用场。 工程文档、业务备份、在线监测、周期巡检是数据中心运维工作的四个重要方面，只有做好这四个方面的工作，才能让数据中心保持长期稳定运行，并能产生良好的效益，是数据中心运维水平高低的主要体现，拥有这四大法宝，将使数据中心终身受益
4K70发布于 2018-05-02 - 来自专栏AI+运维：智能化运维的未来
大模型进驻运维战场：运维数据处理的智能革命
大模型进驻运维战场：运维数据处理的智能革命在传统运维工作中，数据处理一直是个让人头疼的问题——日志分析、异常检测、告警优化，各种数据纷至沓来，往往让运维人员不堪重负。 如今，大模型技术正在悄然改变这一现状，让运维不再是靠经验“拍脑袋”，而是依赖数据驱动的智能决策。今天，我们就来聊聊大模型技术在运维数据处理中的应用，看看它到底能帮运维人员省多少力。 运维数据为何需要大模型？ 运维环境复杂多变，数据量庞大，数据格式各异，传统分析方法往往吃力不讨好：日志数据庞杂：每天数百万条日志，哪怕是神一样的运维，也难以人工筛查所有问题；异常检测门槛高：规则设定过严，容易误报；设定过松，又可能错过关键故障 运维人员的工作将逐步从“疲于奔命”变为“智能运维”，让数据真正服务于业务增长。总结大模型技术的引入，让运维数据处理迈向智能化。
69810编辑于 2025-05-25 - 来自专栏AI+运维：智能化运维的未来
运维不怕事多，就怕没数据——用大数据喂饱你的运维策略
“运维不怕事多，就怕没数据——用大数据喂饱你的运维策略”咱干运维的都知道，一个系统出问题，往往不是技术没到位，而是问题没及时发现，或者发现了却没找到根因。 一、为什么运维离不开大数据以前的运维更多是“救火队”：监控报警 → 运维接单 → SSH 上服务器排查一顿猛查，找到原因修好 → 继续等下一次报警这套流程的缺点很明显：反应慢：报警来了才动手。 而大数据的价值，就是把海量运维数据“榨干”，让我们：提前预警快速定位自动化决策一句话，大数据让运维从“救火”变成“防火”。二、运维数据从哪来？ 四、运维优化的几种大数据玩法真实场景可不止检测 CPU，这里我给你总结几个高价值玩法：1. 大数据不是替代运维，而是让我们有了更聪明的眼睛和更快的反应速度。如果说传统运维靠经验，那数据驱动运维就是“经验 + 科学”的结合，既有老道的判断，也有算法的精准。
31000编辑于 2025-08-12 - 来自专栏杨建荣的学习笔记
运维平台元数据稽核小结
数据库运维中的元数据建设都是重中之重，如果元数据不具有参考的价值，那么后续的操作都会受到影响，但是元数据的建设也应该是分成几个步子来走，首先得能够收集到元数据或者元数据的录入，数据有了后续做规范和标准化才有依据 ，谁都受不了；有了数据，逐步来落实质量，这个过程就是逐步规范化的过程，这个过程中要把握的就是通用和定制的粒度，统一的模板，但是数据的意义可能会有所差别，这个平衡度就是关键。 比如你看到的一个元数据列表类似下面的形式，假设有9个数据库实例，其实这个阶段你也会犯嘀咕，要拍胸脯说元数据妥妥的，那是主观片面的，我们怎么来验证，或者怎么发现元数据问题来修复。 第三个阶段其实是对于未知问题的把握，比如我们的元数据库中录入了100个实例，但是可能某个服务器上另外又部署了2个实例，在元数据中可能遗漏了。 整个对比就是一个全面的比较，元数据就是一个列表，系统中抓取的信息也是一个列表，两个列表互相对比，就能够得到一些差异的数据。
1.5K40发布于 2018-07-26 - 来自专栏kafka专栏
【kafka运维】Leader重新选举运维脚本
1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举
4.2K40编辑于 2021-12-31 - 来自专栏桥路_大数据
Hive Schema Tool元数据运维
什么是Hive Schema Tool Hive提供Hive Schema Tool用于MetaSore Schema的运维修复、升级。 初始化元数据信息，在数据库derby中生成Shema数据 schematool -dbType derby -initSchema 获取元数据Schema信息 schematool -dbType 将hive元数据信息迁移到spark目录中 schematool -moveDatabase db1 -fromCatalog hive -toCatalog spark 将Hive数据库和表迁移到 Spark中 # 在spark中创建对应数据库newdb，用于接收hive迁移来的数据库 beeline ... db1 -toDatabase newdb Hive Schema Tool解决Hive元数据问题十分方便，而且还支持数据迁移到Spark，当真是一款运维利器。
1.9K10发布于 2021-01-07 - 来自专栏无量测试之道
mysql数据库运维方案
数据库不仅仅是dba的工作，每一个测试人员也应该懂得基本的数据运维操作，因为数据库是数据承载的地方并且是系统中非常重要的一部分，所以我们也需要熟练的对数据库进行基本维护。 导入单个库 mysql-hlocalhost -utester -p123456 < testdb1.sql 或者 mysql>source testdb1.sql; 第4组命令： 4.1：导出某些数据表 mysql -uusername -ppassword testdb1 < tables.sql 或者 mysql>source tables.sql; 02、shell脚本实现数据库备份 ---- .000009 | mysql -utester -p123456 #根据日志文件binlog.000008将数据恢复到2019-05-31 23:59:59以前的操作。 总结：数据库的运维对于测试人员来说仍然是非常重要的，比如：非常重要也不太容易构建的测试数据需要做备份操作时，数据库的运维就显得很有技术含量，掌握数据的基本运维可以使测试工作做得更出色，同时也会让开发刮目相看
12.6K20编辑于 2022-07-04 - 来自专栏kafka专栏
【kafka运维】ConfigCommand运维脚本
默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置
3.4K10编辑于 2022-04-13 - 来自专栏北京马哥教育
【运维故事】运维小白黑化记
来源:运维人那些事儿 ID:jzjytd2016 【01】换工作 2017年8月份的某一个晴朗慵懒的下午，我在望京中环南路7号西家大院E楼5层最角落且紧靠大落地窗的工位上掐指一算，我在研究院竟然已经工作 顶着小伙伴和家人都觉得你脑子进水的诧异目光，我开始了我的换工作大业，从实习开始就在研究院工作，突然开始可以选择了竟然有些茫然，种种纠结波折暂且不表，总之，在2017年12月18号，我走进了东四157号，正式成为了银河信息化集中交易运维团队的一份子 每每想到这些，我除了自责、懊恼、自我怀疑之外，也深深体会到了团队成员的团结和大家释放出来的善意，对于运维团队来讲，每天来自业务部门及客户的压力非常大，小心翼翼，如履薄冰，全部精力用来对抗外部还不够，对于团队内部制造麻烦消耗精力的人的态度 这次经历也让我对运维工作有了新的认识和更多的思考，在这里和大家分享一下： 操作层面 1. 线上操作无小事”，坚持 “双人复核”，坚持“按照流程操作” 端正心态，受过去经历和个人性格的影响，我是一个有一点个人英雄主义倾向的人，来到新的团队，更是急于证明自己，心态出了问题自然会导致路线跑偏，生产系统线上运维是一个严谨度要求非常高的工作
3.1K30发布于 2018-06-20 - 来自专栏嘉为动态
运维大数据平台落地构想
与此同时，各地政府在快马加鞭的构建业务大数据平台，用户端连接交互平台的建设，如小程序，网上办事大厅，政务微信等。然而运维资源整合、提升运维服务能力的趋势在各行各业也日益明朗。 Problems 资源服务能力，数据服务能力，连接服务能力在不断增强的情况下，对运维平台的要求就越来越高，传统的运维理念和思维模式已很难满足用户的需求。 为用户提供全套运维运营解决方案，有效的满足用户在监控自愈、CMDB配置管理、自动化运维、ITSM流程管理、数据分析、日志分析、数据运营，可视化大屏的全景式运维需求。 image.png 蓝鲸平台在满足用户基本的运维需求外，还通过监、管、控、 流、析五大运维数据抓手，将用户云平台、网平台、应用系统的全流程数据抓取出来，通过蓝鲸大数据平台进行采样、建模、分析、处理，最后通过统一运营门户 Summary 蓝鲸平台是一套PaaS平台+原子组件+业务场景的全景式运维平台，也是一套通过监、管、控、流、析、营六大能力实现运维数据全流程打通的运维大数据平台、数据化运营平台。
2.2K50发布于 2019-08-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号