首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏运维经验分享

    CentOS 7 优化 原

    CentOS 7 优化 一般的,我们安装CentOS mini和其他相应服务后,就能正常工作了。但工作一段时间后,服务器会出现不稳定、被入侵、甚至在突然的高并发时直接瘫痪状况。 所以,在这里提供一些优化的建议。 1.关闭不需要的服务 众所周知,服务越少,系统占用的资源就会越少, 所以应当关闭不需要的服务。 "$tty" = "$X_TTY" ] && continue initctl start tty TTY=$tty done end script 1 2 3 4 5 6 7 8 7.调整 Linux 的最大文件打开数 要调整一下 Linux 的最大文件打开数,否则运行 Squid 诅服务的机器在高负载时执行性能将会很差;另外,在 Linux 下部署应用时,有时候会遇上 “ ESTABLISHED;正常数据传输状态。 FIN_WAT1:应用说它已经完成。 FIN_WAT2:另一边己同意释放。 ITMED_WAIT:等待所有分组死掉。 CLOSING;两边尝试同时关闭。

    2.9K20发布于 2019-03-11
  • 来自专栏祝威廉

    =平台+数据

    会比开发更加重要 的发展日新月异,曾几何时,仅仅是被认知为跑机房,装系统,设计网络,给开发擦屁股。 但是现在运变得极度重要,职责也更加细化,譬如稍大点的公司就将划分为基础,网络,DBA, 应用,架构师。 发展新方向 之前我写过一篇文章,谈及如何用大数据思维做,当然这篇文章有他自己的局限性,只是谈及了监控,灌输一种 data based 的理念。 一切服务都是为了帮助数据进行流转和变换,服务的状态也都反应在数据流上,这种瞬态和终态的量是非常大的,所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做灌输的概念了。 所以未来可以完全依托一个固定的分布式操作系统,在其上开发各种工具,利用大数据相关的理念和工具,监控,追踪,分析服务的状态,解决现有的工具碎片化,难以复制,难于贡献生态的问题。

    4.5K50发布于 2018-08-27
  • 来自专栏腾讯云大数据

    Flink 实践教程-进阶(7):基础

    数据类型映射 数据类型映射错误也是一个比较常见的错误。 数据转换过程中有 update/delete 数据存在。 在正式运行之前请检查:  类名是否有拼写错误 确定是否将相关的业务代码依赖打进 JAR 包中 基础 作业监控 流计算 Oceanus 提供强大的作业监控能力,我们可以通过【监控】项查看作业的各项指标 之后介绍了下作业启动之后的一些基础手段,包括实时监控和告警通知,方便用户及时了解作业的具体运行情况。最后介绍了在作业失败之后通过日志关键字定位问题的方法,具体可以查看 日志诊断指南[6]。 长按二码 关注我们

    3.3K11编辑于 2022-01-21
  • 来自专栏博文视点Broadview

    人员7*24值班拯救指南

    人员经常需要在周末出去游玩的时候也带着电脑,因为很多情况下人员需要随时待命。笔者依稀记得2014年左右,我们10多个小伙伴团建时背着5斤重的电脑爬青城山的壮丽场面。 (1)业务线较多,不同的问题得由不同的人员跟进。 (2)开发人员、客服、测试人员都会给人员反馈问题,流程混乱,人员长时间处于被动接受的状态。 ,这种时候值班人员既要承担应急工作,又要执行各种协调任务,效率大打折扣。 01 让开发人员参与其中 不少技术团队的值班体系中只包含人员,极少有开发人员参与,这也导致当故障发生时,人员应急对接开发人员的过程变得不顺畅,再加上开发人员被临时拉进来的时候并没有值班待命状态, (2)业务开发值班人员需要满足7×24小时的待命计划,并且主备两个角色。 (3)正常工作中,参与值班的开发人员的工作需要包含但不仅限于以下内容。

    1.8K20编辑于 2023-08-10
  • 来自专栏DBA随笔

    MongoDB与开发(7)---MongoDB监控

    // MongoDB与开发(7)---MongoDB监控 // MongoDB中自带两个监控的工具,分别是mongostat和mongotop,今天我们看看这两个工具的使用方法。 mongostat mongostat工具提供了mongod和mongos的运行状态和数据,可以从mongostat工具的执行结果中获取如下信息: [root@VM-0-14-centos ~]# mongostat collections:当前数据库中集合的数量 view:当前数据库中视图的数量 objects:当前数据库中所有文档的数量 avgObjSize:数据库中文档的平均大小 dataSize:当前数据库的数据大小 ,单位是byte storageSize:当前数据库占用硬盘空间的大小,单位是byte numExtents:当前数据库中所有集合Extents扩展的数量统计 indexes:当前数据库中的索引数量 indexSize members:列出副本集中每个成员的信息数据

    1.5K10发布于 2020-11-26
  • 来自专栏个人总结系列

    指标数据流程

    现状 针对目前大数据异常响应效率低,解决处理定位难,压力集中在某几个人等不合理的现状。 针对技术组件方向,建立大数据技术保障组,异常谁发现谁报备到保障组并@组件负责人,组件负责人根据实际情况,业务重要程度,是否发起团队能力协助处理来主要负责处理。 二.

    1.4K00发布于 2021-08-14
  • 来自专栏散尽浮华

    相关指标数据采集并ES入仓 - 笔记

    收集到的应用指标数据最好要进行ES入仓,入到Kafka里面,并通过Kibana可视化展示。 需要进行采集的应用进程相关指标如下: ? 指标值 indexValue CHAR 是 支持批量 指标类别 indexType CHAR 是 安全 测试 运行 应用 环境 指标描述 indexDesc VARCHAR 是 指标说明,指标采集数据源 u7a7a\u95f4\u4f7f\u7528\u7387'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test \u5e8f\u7a7a\u95f4\u4f7f\u7528\u7387'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname \u4ee3\u7a7a\u95f4'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test'

    1.8K31发布于 2019-07-08
  • 来自专栏Cheng's Blog

    】centos7 yum 方式安装nginx

    使用yum安装nginx需要包括Nginx的库,安装Nginx的库 rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos -7-0.el7.ngx.noarch.rpm 2.

    88810编辑于 2022-02-25
  • 来自专栏腾讯云TVP

    数据生态之数据思维

    数据根据上述方式的发展历程逐步构建数据生态,如果我们把方式的发展浓缩成技术提升和工具建设,那与之相对应的,数据的发展也有四个阶段:自动化能力、平台化能力、数据能力、智能化能力 在数据能力中,数据已初步形成初步数据生态标准,具备构建数据中台和数据可视化,同时也能对数据的进行血缘能力和影响能力的初步分析。 在智能化能力中,数据已形成较大的规模,因此将经验和大数据、机器学习的技术相结合,开发成一系列智能策略,提升数据的输出能力,让数据边界延伸至更多的场景。 二、 什么是的“数据思维” 方式的发展提升了人员的基础门槛能力,在现在很多的企业中,人员的日常离不开数据的过程和结果靠不靠谱,都可以通过数据来验证。 而人员只需要将场景的数据和其他第三方数据进行有机的结合,因此人员随时看数据,并不需要成为他们,服务能力的边界延伸并不意味技术的延伸,人员跟需要善于运用现有的数据来获得想要的结果和反馈

    2.9K2519发布于 2020-06-29
  • 来自专栏侯哥的Python分享

    MySQL7-Mycat水平分表

    一、水平分表场景   在业务系统中,有一张日志表,业务系统每天都会产生大量的日志数据,单台服务器的数据存储即处理能力是有限的,可以对数据库表进行拆分,这时候就可以使用水平分表的策略   说明1:水平分表 说明6:分片规则使用的是 rule="mod-long" 规则,该规则在rule.xml有定义如下   说明7:继续看 function 中 mod-long 的定义   说明8:这里的count 3的意思是 id主键 按照和3进行取模运算,然后根据取模后的结果,将数据写入到不同的数据节点,即有几个数据节点,就会平均的写入到数据节点中   说明9:我这里整好配置了三个数据节点,而这里的默认值也是3,所以不用改了 ,结果为1时,结果会保存在第二个数据节点,结果为2时,保存在第三个数据节点上,而 1%3=1 ,所以id=1的数据写在了192.168.3.91第二个数据节点上。    说明2:第二个数据节点即192.168.3.91这个节点,所以id=1的数据只写入到这个数据节点上,其他节点上还没有数据。   

    80411编辑于 2023-12-18
  • 来自专栏开发运维工程师

    Linux工具|工具7za浅谈

    1、背景前几日,需要从线上环境拉取部分数据导入到实验库,将工作告知后,发给我一些文件,文件内容如下格式:xxx7z.001xxx7z.002xxx7z.003xxx7z.004看到这个第一眼,不知道怎么处理了 ,最后告知需要使用7za工具处理。 在 CentOS 5.x 32位下安装7ZIPwget http://pkgs.repoforge.org/p7zip/p7zip-9.20.1-1.el5.rf.i386.rpmrpm -ivh p7zip /p7zip/p7zip-9.20.1-1.el6.rf.i686.rpmrpm -ivh p7zip-9.20.1-1.el6.rf.i686.rpm在 CentOS 6.x 64位下安装7ZIPwget 命令如下:yum install -y p7zip4、使用方法使用7zip的命令是7za。

    2K41编辑于 2023-11-21
  • 来自专栏腾讯云流计算 Oceanus

    Flink 实践教程:进阶7-基础

    流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台 数据类型映射 数据类型映射错误也是一个比较常见的错误。 数据转换过程中有 update/delete 数据存在。 在正式运行之前请检查: 类名是否有拼写错误 确定是否将相关的业务代码依赖打进 JAR 包中 基础 作业监控 流计算 Oceanus 提供强大的作业监控能力,我们可以通过【监控】项查看作业的各项指标 之后介绍了下作业启动之后的一些基础手段,包括实时监控和告警通知,方便用户及时了解作业的具体运行情况。最后介绍了在作业失败之后通过日志关键字定位问题的方法,具体可以查看 日志诊断指南[6]。

    3.4K31编辑于 2022-01-20
  • 管理数智化:数据与智能场景实践

    数据与智能技术在运业务中的定位数据与智能技术在运业务中的应用近几年进入“实用化提升阶段”,无论从供给方,还是需求方,都逐步认识到,“数据与智能”有其边界和条件,“AI加持”比“AI颠覆数据在运的定位:跨多数据源系统,实现配置、运行、操作、流程等维度数据源分析,提升性能容量、观测整合、运营分析等的能力。 概要设计:数据及AI是技术能力,核心是应用到业务场景中;有三个核心基础:基础维系统提供数据和能力、数据及AI平台提供数据处理和模型训练能力、数据分析及算法工程师和团队提供组织支撑。 而到数据平台自身的应用架构,数据平台应该具备的核心功能包括数据采集接入、数据清洗加工、数据入库存储、数据开发、数据探索、数据集市等,并且要具备元数据数据质量和安全等管理能力和自能力。 图7: 异常检测模型应用时序数据预测在IT领域,对信息系统进行检测,会产生大量多类型的时间序列数据,如用户在线数、主机CPU使用率等。

    3.7K40编辑于 2024-07-17
  • 来自专栏AI+运维:智能化运维的未来

    人不再“救火”:数据驱动才是主动的底气

    人不再“救火”:数据驱动才是主动的底气 “=救火队”?你也太低估它了!作为一个“打过补丁、熬过大夜、啃过故障单”的老运,我想说句实话:传统,说白了就是“哪里着火,往哪儿跑”。 系统挂了,才开始排查;磁盘满了,才开始清理;用户骂了,才知道卡顿……这不是,这是“被动接锅侠”!但你别急,这两年形势真变了:数据,开始让变“主动”了。 从“亡羊补牢”到“预判于未发”,数据驱动的,才是未来的正道。 什么是“数据驱动的主动”?一句话解释:就是靠数据说话,不靠报警响了再动手。 :触发式(能动手才叫真主动)接入Webhook联动脚本:异常触发自动扩容、通知、拉日志自定义报警规则+自动Playbook执行构建闭环:数据采集 -> 预警 -> 自动响应❤️ 一点真实感受:的未来 说真的,这个工种,以前太容易被低估了,感觉就是在修服务器、拉网线。但今天,优秀的,靠的是数据思维。你要知道哪里可能出问题,更要知道问题还没来的时候,它已经“动了一下”。

    37400编辑于 2025-07-14
  • 来自专栏防火墙自动化

    监控,如何获取数据

    如果想做自动化高效化,则少不了搭建监控系统。目前市面上已经有大量成熟、开源的监控平台可供挑选。但如果想实现一个监控系统,或了解监控系统的原理,则可参见本文。 1. 常见监控系统划分 常见监控系统可按有/无Agent,使用Pull/Push获取数据进行简单划分。 [sqpnqlpbyh.png? 相信/开发对此协议都很熟悉,用于监控时,它可以直接输入系统命令从而获得监控数据输出。优点是一次就能获取大量的信息,缺点是交互不好控制和获取到的输出往往需要清洗处理。SSH示例如下。 [2zgwc7ebwq.png? 小结 监控系统可按“有/无agent”、“使用pull/push获取数据”划分成6类。 Agent实际是一个轻量程序,用于提供系统无法直接提供的数据

    5.5K103编辑于 2022-05-22
  • 来自专栏小麦苗的DB宝专栏

    Apache Doris元数据

    这个 bdb 目录相当于 bdbje 的 “数据目录”。 其中 .jdb 后缀的是 bdbje 的数据文件。这些数据文件会随着元数据 journal 的不断增多而越来越多。 从 FE 内存中恢复元数据 在某些极端情况下,磁盘上 image 文件可能会损坏,但是内存中的元数据是完好的,此时我们可以先从内存中 dump 出元数据,再替换掉磁盘上的 image 文件,来恢复元数据 如果你并不十分了解 FE 元数据的运行逻辑,或者没有足够 FE 元数据经验,我们强烈建议在实际使用中,只部署一个 FOLLOWER 类型的 FE 作为 MASTER,其余 FE 都是 OBSERVER ,这样可以减少很多复杂的问题! 所以如 最佳实践 一节中所述,如果你没有丰富的元数据经验,不建议部署多 FOLLOWER。

    1.6K31编辑于 2023-10-28
  • 来自专栏运维之路

    4.5.1 他山之石之数据

    【概要】 ---- 本篇是《数智万物下的思考》第4章“平台”的第4节“分析平台”第1小节,主要观点有:: 1、在围绕“监管控析”的平台有机躯体上,数据平台定位为大脑,承担生产环境所有数据和信息汇总 )、应用运营几类数据出发,挖掘对应厂商对数据应用场景的观点。 3、数据平台考虑以下几个关注: 关注数据在运数字化空间的融合作用。 关注提升业务连续性保障、IT交付效率、感知客户体验、产品运营能力的分析能力。 关注数据治理、指标体系的建设。 3、关注数据治理、指标体系的建设。 4、关注数据平台在多源、实时、海量的数据汇集能力,与低代码的数据开发,数据开放与输出的平台能力。 5、关注AIOps解决未知问题的数据分析能力。 6、关注数据平台对云原生的平台及应用架构的支撑能力。 7、关注链路、架构关系、业务运营等数据的构建。 8、关注基于数据的事件驱动能力建设。 end。

    1.6K21发布于 2021-03-03
  • 来自专栏devops_k8s

    的感悟(做需要考虑事,组织结构,学习地图....)

    7.安全防护,不只有ddos,还有登陆问题。 (7)资产管理 记录和管理相关的基础物理信息,包括数据中心、网络、机柜、服务器、ACL、IP等各种资源信息,制定有效的流程,确保信息的准确性;开放API接口,为自动化提供数据支持。 数据 数据负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 (7)自动化系统建设 设计开发数据库自动化维系统,包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。 研发 研发负责通用的平台设计和研发工作,如:资产管理、监控系统、平台、数据权限管理系统等。提供各种API供或研发人员使用,封装更高层的自动化维系统。详细的工作职责如下所述。

    8.6K1011发布于 2020-12-23
  • 来自专栏北京马哥教育

    | 数据中心的四大法宝

    对于数据中心,工作的重要性不言而喻,在数据中心生命周期中管理是历时时间最长的一个阶段。 投资巨大的数据中心,为了能够尽快得到收益,就需要在运的工作上多下工夫,切勿进入“一流设备、二流设计、三流”的不良运营之中,高品 质数据中心的工作至关重要。 那么如何才能提升数据中心的水平,本文提出了数据中心工作制胜的四大法宝,做好这四个方面的工作将使数据中心一直 运行于最佳状态,为数据中心创造最大的受益。 通过对数据中心而 输出的各种技术文档,将为后来人提供方便,并且可以提升数据中心整体的能力。数据中心的文档五华八门,你不知道什么时候其中的哪些文档就会派上用场。 工程文档、业务备份、在线监测、周期巡检是数据中心工作的四个重要方面,只有做好这四个方面的工作,才能让数据中心保持长期稳定运行,并能产生良好的效益,是数据中心水平高低的主要体现,拥有这四大法宝,将使数据中心终身受益

    4K70发布于 2018-05-02
  • 来自专栏AI+运维:智能化运维的未来

    大模型进驻战场:数据处理的智能革命

    大模型进驻战场:数据处理的智能革命在传统工作中,数据处理一直是个让人头疼的问题——日志分析、异常检测、告警优化,各种数据纷至沓来,往往让人员不堪重负。 如今,大模型技术正在悄然改变这一现状,让不再是靠经验“拍脑袋”,而是依赖数据驱动的智能决策。今天,我们就来聊聊大模型技术在运数据处理中的应用,看看它到底能帮人员省多少力。 数据为何需要大模型? 环境复杂多变,数据量庞大,数据格式各异,传统分析方法往往吃力不讨好:日志数据庞杂:每天数百万条日志,哪怕是神一样的,也难以人工筛查所有问题;异常检测门槛高:规则设定过严,容易误报;设定过松,又可能错过关键故障 人员的工作将逐步从“疲于奔命”变为“智能”,让数据真正服务于业务增长。总结大模型技术的引入,让数据处理迈向智能化。

    72710编辑于 2025-05-25
领券