首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏北京马哥教育

    | 数据中心的四法宝

    对于数据中心,工作的重要性不言而喻,在数据中心生命周期中管理是历时时间最长的一个阶段。 投资巨大的数据中心,为了能够尽快得到收益,就需要在运的工作上多下工夫,切勿进入“一流设备、二流设计、三流”的不良运营之中,高品 质数据中心的工作至关重要。 那么如何才能提升数据中心的水平,本文提出了数据中心工作制胜的四法宝,做好这四个方面的工作将使数据中心一直 运行于最佳状态,为数据中心创造最大的受益。 通过对数据中心而 输出的各种技术文档,将为后来人提供方便,并且可以提升数据中心整体的能力。数据中心的文档五华八门,你不知道什么时候其中的哪些文档就会派上用场。 工程文档、业务备份、在线监测、周期巡检是数据中心工作的四个重要方面,只有做好这四个方面的工作,才能让数据中心保持长期稳定运行,并能产生良好的效益,是数据中心水平高低的主要体现,拥有这四法宝,将使数据中心终身受益

    3.9K70发布于 2018-05-02
  • 来自专栏AI+运维:智能化运维的未来

    模型进驻战场:数据处理的智能革命

    模型进驻战场:数据处理的智能革命在传统工作中,数据处理一直是个让人头疼的问题——日志分析、异常检测、告警优化,各种数据纷至沓来,往往让人员不堪重负。 如今,模型技术正在悄然改变这一现状,让不再是靠经验“拍脑袋”,而是依赖数据驱动的智能决策。今天,我们就来聊聊模型技术在运数据处理中的应用,看看它到底能帮人员省多少力。 数据为何需要模型? 人员的工作将逐步从“疲于奔命”变为“智能”,让数据真正服务于业务增长。总结模型技术的引入,让数据处理迈向智能化。 无论是日志分析、异常检测还是告警优化,人员都可以借助模型,大幅提升数据处理效率,降低负担。

    60210编辑于 2025-05-25
  • 来自专栏祝威廉

    =平台+数据

    会比开发更加重要 的发展日新月异,曾几何时,仅仅是被认知为跑机房,装系统,设计网络,给开发擦屁股。 但是现在运变得极度重要,职责也更加细化,譬如稍大点的公司就将划分为基础,网络,DBA, 应用,架构师。 发展新方向 之前我写过一篇文章,谈及如何用大数据思维做,当然这篇文章有他自己的局限性,只是谈及了监控,灌输一种 data based 的理念。 一切服务都是为了帮助数据进行流转和变换,服务的状态也都反应在数据流上,这种瞬态和终态的量是非常的,所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做灌输的概念了。 所以未来可以完全依托一个固定的分布式操作系统,在其上开发各种工具,利用大数据相关的理念和工具,监控,追踪,分析服务的状态,解决现有的工具碎片化,难以复制,难于贡献生态的问题。

    4.2K50发布于 2018-08-27
  • 来自专栏DBA随笔

    Redis开发与学习笔记---(11)

    Redis开发与学习笔记---(11) Redis开发与中遇到的问题 之前的文章中,我们讲述了redis的复制机制,通过复制,数据可以被备份,然后这些备份的副本可以用来做读写分离、负载均衡、故障转移等 3、从节点故障 首先来看复制数据延迟: redis复制数据延迟主要是异步复制导致的,延迟取决于网络带宽和命令阻塞情况,比如刚在主节点写入数据之后,立刻在从节点读取数据,可能会出现读取不到的问题。 再看过期数据: 当主节点存储大量超时的数据时,如缓存数据,redis内部需要维护过期数据删除策略,删除的策略有两种,惰性删除和定时删除。 2 主从配置不一致 主从配置不一致有时候会造成主从的数据不一致,例如maxmemory等参数,如果不一致(假设从库的参数较小),当复制的数据量超过从节点的maxmemory时,复制仍然会进行,但是主从的数据已经不一致了 3 规避全量复制 我们知道,全量复制是一个非常消耗资源的操作,如何规避全量复制是需要我们关注的点。

    53610发布于 2020-04-14
  • 来自专栏全栈程序员必看

    《前端》一、Linux基础–11服务

    3、服务与端口 ps -aux,查看系统中正在运行的进程 cat /etc/services,查看常见服务端口 netstat -tulnp,查看系统中监听的端口 -t,列出tcp数据 -u,列出udp 数据 -l,列出正在监听的网络服务 -n,用端口号来显示服务,而不是服务名 -p,列出该服务的进程id 二、RPM包服务管理 RMP 是 LINUX 下的一种软件的可执行程序,你只要安装它就可以了。 文件定义了一个或者多个软件仓库的细节内容,例如我们将从哪里下载需要安装或者升级的软件包,repo文件中的设置内容将被yum读取和应用 服务器端:在服务器上面存放了所有的RPM软件包,然后以相关的功能去分析每个RPM文件的依赖性关系,将这些数据记录成文件存放在服务器的某特定目录内 客户端:如果需要安装某个软件时,先下载服务器上面记录的依赖性关系文件(可通过WWW或FTP方式),通过对服务器端下载的纪录数据进行分析,然后取得所有相关的软件,一次全部下载下来进行安装。 另外,我们来看看RPM包相关的一些文件: 文件 含义 /etc 配置文件位置 /etc/init.d 启动脚本位置 /etc/sysconfig 初始化环境配置文件位置 /var/lib 服务产生的数据放在这里

    95130编辑于 2022-07-21
  • 来自专栏zaking's

    《前端》一、Linux基础--11服务

    3、服务与端口 ps -aux,查看系统中正在运行的进程 cat /etc/services,查看常见服务端口 netstat -tulnp,查看系统中监听的端口 -t,列出tcp数据 -u,列出udp 数据 -l,列出正在监听的网络服务 -n,用端口号来显示服务,而不是服务名 -p,列出该服务的进程id 二、RPM包服务管理 RMP 是 LINUX 下的一种软件的可执行程序,你只要安装它就可以了。 文件定义了一个或者多个软件仓库的细节内容,例如我们将从哪里下载需要安装或者升级的软件包,repo文件中的设置内容将被yum读取和应用 服务器端:在服务器上面存放了所有的RPM软件包,然后以相关的功能去分析每个RPM文件的依赖性关系,将这些数据记录成文件存放在服务器的某特定目录内 客户端:如果需要安装某个软件时,先下载服务器上面记录的依赖性关系文件(可通过WWW或FTP方式),通过对服务器端下载的纪录数据进行分析,然后取得所有相关的软件,一次全部下载下来进行安装。 RPM包相关的一些文件: 文件含义 /etc 配置文件位置 /etc/init.d 启动脚本位置 /etc/sysconfig 初始化环境配置文件位置 /var/lib 服务产生的数据放在这里

    1K20编辑于 2022-05-10
  • 来自专栏织云平台团队的专栏

    腾讯云干货沙龙-海量实践曝光 (三)

    作者丨周小军,腾讯SNG资深工程师,负责社交产品分布式存储的及团队管理工作。对互联网网站架构、数据中心、云计算及自动化等领域有深入研究和理解。 12月16日,首期沙龙“海量实践曝光”在腾讯大厦圆满举行。 一、活动背景 [图片] 有三座大山:活动、大变更、大故障。这几个场景是最消耗人力的。特别是活动,非常考验弹性能力,对自动化挑战很大。 我今天所分享的主题就是深入百亿次红包活动的背后,解析腾讯的方法体系,了解织云平台如何帮助实现活动高效,如何减少运人海战术。 相关文章 腾讯云干货沙龙-海量实践曝光 (一) 腾讯云干货沙龙-海量实践曝光 (二) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

    6.2K10发布于 2017-12-17
  • 来自专栏织云平台团队的专栏

    腾讯云干货沙龙-海量实践曝光 (二)

    作者丨魏旸:腾讯高级工程师,具有15年经验的专家。负责QQ空间、微云、QQ空间相册等的工作。 12月16日,首期沙龙“海量实践曝光”在腾讯大厦圆满举行。 沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。 同时深圳的PC或者移动端用户更新了空间,数据需要同步到其他地域的后端存储上,空间有一套专用的同步中心架构来保证数据同步。 简单介绍一下同步中心的架构:单写多度的业务讲数据接入同步中心后,同步中心通过多种技术手段保证数据同步到多地的读SET。 [图片] [图片] 相关文章 腾讯云干货沙龙-海量实践曝光 (一) 腾讯云干货沙龙-海量实践曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

    9.4K10发布于 2017-12-17
  • 来自专栏织云平台团队的专栏

    腾讯云干货沙龙-海量实践曝光 (一)

    作者丨郭智文:腾讯高级工程师,手机QQ负责人。 12月16日,首期沙龙“海量实践曝光”在腾讯大厦圆满举行。 沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。 业务同事通过腾讯网络中心联系到重庆联通网络负责人,经过多轮沟之后,确认确实是运营商在凌晨时段割接网络引起,运营商与厂商经过两次调整最后故障才得以解决。 总结 相关文章 腾讯云干货沙龙-海量实践曝光 (二) 腾讯云干货沙龙-海量实践曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com

    6K30发布于 2017-12-17
  • 来自专栏大模型

    模型在蓝鲸体系应用——蓝鲸开发智能助手

    直达原文:模型在蓝鲸体系应用——蓝鲸开发智能助手背景1、转型背景蓝鲸平台从诞生之初,就一直在不遗余力地推动转型,让团队可以通过一体化 PaaS 平台,快速编写脚本,编排流程,开发运工具 模型在运开发上的应用从模型的原理上看,模型经过海量的数据训练,在开发领域,很多大模型学习了几十亿行代码,庞大的数据基础使得这些模型在代码的规范性、准确性方面展现出了卓越的效果。 5、开发平台集成最后,在低代码开发领域,开发平台的优势在于图形化开发方式、大量的预制组件、少量手工编码、实现完整的应用(包含页面、流程、数据等),可以降低开发难度、开发成本,缩短开发周期,但是也存在产品学习成本高 的功能;开发平台将数据库表结构和用户输入文本进行格式化整合后,经过 Prompt 优化后发送到模型;模型返回 SQL 语句,用户复制或插入到平台中。 直达原文:模型在蓝鲸体系应用——蓝鲸开发智能助手

    1.3K01编辑于 2024-05-27
  • 来自专栏千帆企业应用连接器

    IT咖带你玩转企业信息自动化

    但是小到企业设备、系统的到企业的多个信息系统的规划、选型、建立整体的业务数据中台,企业的IT信息化部门,是“IT里最懂本企业的业务,又是懂业务的人里IT技术最强的”存在,也在越来越多的企业数字化转型中担任着重要的选型 非典型IT负责人王焱焱是一位非典型IT负责人,热爱电脑的他从中学就开始折腾3C设备,并且自主参加了IT技术的培训。 零代码玩转IT自动化王焱焱爱琢磨,爱学习,爱分享。集团的IT工作中,有许多重复琐碎却价值低的工作,他一直在思考,在自己的工作中,如何去不断优化。 第一次接触腾讯云HiFlow场景连接器里,是接触到了,可以零代码实现企业微信群机器人的能力,IT自动化终极攻略今晚等你你来听!零代码打造灵活值班自动化?IT知识库更新及时提醒? 企业软硬件自动告警?

    64030编辑于 2022-09-28
  • 模型在蓝鲸体系应用——蓝鲸开发智能助手

    2、模型对开发带来的挑战和机遇最近几年,模型的爆发式发展为开发和行业带来新的变革,2021 年 7 月 1 日,由 GitHub 和 OpenAI 共同开发的人工智能编码助手——Copilot 模型在运开发上的应用从模型的原理上看,模型经过海量的数据训练,在开发领域,很多大模型学习了几十亿行代码,庞大的数据基础使得这些模型在代码的规范性、准确性方面展现出了卓越的效果。 5、开发平台集成最后,在低代码开发领域,开发平台的优势在于图形化开发方式、大量的预制组件、少量手工编码、实现完整的应用(包含页面、流程、数据等),可以降低开发难度、开发成本,缩短开发周期,但是也存在产品学习成本高 ,效果如下:图片后台代码或SQL生成开发平台的后台代码或SQL语句生成应该与其它的 Copilot 的代码生成方式更优化,分成以下步骤:1.用户直接在前端页面选择数据源,输入文本,描述需要生成的 SQL 的功能;2.开发平台将数据库表结构和用户输入文本进行格式化整合后,经过 Prompt 优化后发送到模型;3.模型返回SQL语句,用户复制或插入到平台中。

    1.2K10编辑于 2024-11-13
  • 来自专栏个人总结系列

    指标数据流程

    现状 针对目前大数据异常响应效率低,解决处理定位难,压力集中在某几个人等不合理的现状。 针对技术组件方向,建立大数据技术保障组,异常谁发现谁报备到保障组并@组件负责人,组件负责人根据实际情况,业务重要程度,是否发起团队能力协助处理来主要负责处理。 二.

    1.3K00发布于 2021-08-14
  • 来自专栏用户1880875的专栏

    Linux云计算架构师(连载)-自动化ansible-11

    [root@ansible ~]# ansible host1 -m yum -a 'name="*" state=latest'

    1.8K10发布于 2021-07-05
  • 来自专栏散尽浮华

    相关指标数据采集并ES入仓 - 笔记

    收集到的应用指标数据最好要进行ES入仓,入到Kafka里面,并通过Kibana可视化展示。 需要进行采集的应用进程相关指标如下: ? echo -e "---------------------------------------------------" ###########应用所在磁盘TPS########### indexName11 |awk -F"/" '{print $3}') TPS=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $2}') echo "${indexName11 indexName14}: 0" else for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d) do NUM11 =$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l) if [ ${NUM11} -eq 0 ];then echo "not ${TOMCAT

    1.7K31发布于 2019-07-08
  • 来自专栏james大数据架构

    徒手教你制作监控

    在公司开发人员资源紧张的情况下,想要快速搭建起一套屏可以使用Grafana。   Grafana 是一个开源的监控数据分析和可视化套件。 综合屏展示   以上内容都是分模块的,现在想把服务器、业务访问流量、容器状态放在一个屏内显示,每一块都来各自的数据源。 关键在于一块屏要展示哪些关键信息,摈弃掉无关紧要的内容,下面是其中一个屏,具体制作方式与上面一样,其中图形大小与布局需要根据投影到屏上的分辨率有关,需要现场调试。 ? 关于屏展示的技巧 Grafana提供一个屏展示轮播功能,几个看板之间自动切换,具体就是Playlists。 ? 给屏一个名字,和切换间隔,然后将需要轮播的看板加入。 ? Grafana还可对接很多数据源,需要自行去探索,有能力的可以进行二次开发,打造自己的监控屏。

    4K41发布于 2020-06-19
  • 来自专栏运维前线

    系统要素

    https://blog.csdn.net/wh211212/article/details/53199058 系统要素 如今的互联网是一个巨大的变幻莫测的世界,每个站点、每个应用程序 要想在21世纪取得 24x7维和系统成功的话,关键是要能够理解并合理地关注这五要素。 监控包括:常规的 CPU、RAM、以及磁盘输入/输出监控,还包括对许多与网络服务器、应用程序和代码、数据库等相 关的特定服务问题的监控,重点是对能够提高和/或降低大型系统性能的关键变量进行监控 这种做法也能够帮助程序开发员和团队成员强行地把安全观牢 记在心。 要想在21世纪取得成功和系 统成功的话,关键是要能够理解并合理地关注这五要素。

    4K20发布于 2019-05-26
  • 来自专栏hadoop学习

    深度解析快DKM大数据管理平台功能

    深度解析快DKM大数据管理平台功能 之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。 关于DKHadoop下载安装基本已经讲清楚了,这几天有点空闲把快DKM大数据管理平台的内容整理了一些,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。 通过DKM ,人员是可以提高集群的性能,提升服务质量,提高合规性并降低管理成本。 DKM 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。 2.提供实时的集群概况,例如节点,服务的运行状况; 3.提供了集中的中央控制台对集群的配置进行更改; 4.包含全面的报告和诊断工具,帮助优化性能和利用率; 基本功能:DKM的基本功能主要可以分为四模块 3、权限管理 对系统管理员,数据库管理员及其他管理员必须授予不同级别的管理权限。

    1.6K50发布于 2018-11-02
  • 来自专栏bisal的个人杂货铺

    模型和智能的结合

    模型赋能的智能化为企业提供了一种全新解决难题的路径。它能够通过类似人一样强大的文字阅读和数据处理能力,从海量数据中快速提取有用信息,实现问题的精准定位和快速解决。 4.团队的日志数据,解决方案数据等储备不足,而这也是模型做训练时缺少的样本。 3.收益,使用智能化能够更快速更高效地解决问题。 ● 观点2 有如下难点: 1.数据安全:企业数据的安全问题,一般企业数据是不能将数据流出到外面,因此不可用外部的模型服务。 团队需要构建自身的领域知识体系为模型作平台支撑,通过建立框架为模型进行数据输入,比如,日志、指标以及相关事件信息等。 3、模型智能化维面临内容和问题 在模型智能化中,面临的主要问题包括数据收集清洗转换的质量保障,自动化执行运任务的有效性,以及模型的劣势规避。

    1.3K00编辑于 2025-02-03
  • 来自专栏腾讯云TVP

    数据生态之数据思维

    数据根据上述方式的发展历程逐步构建数据生态,如果我们把方式的发展浓缩成技术提升和工具建设,那与之相对应的,数据的发展也有四个阶段:自动化能力、平台化能力、数据能力、智能化能力 在数据能力中,数据已初步形成初步数据生态标准,具备构建数据中台和数据可视化,同时也能对数据的进行血缘能力和影响能力的初步分析。 在智能化能力中,数据已形成较大的规模,因此将经验和大数据、机器学习的技术相结合,开发成一系列智能策略,提升数据的输出能力,让数据边界延伸至更多的场景。 二、 什么是的“数据思维” 方式的发展提升了人员的基础门槛能力,在现在很多的企业中,人员的日常离不开数据的过程和结果靠不靠谱,都可以通过数据来验证。 而人员只需要将场景的数据和其他第三方数据进行有机的结合,因此人员随时看数据,并不需要成为他们,服务能力的边界延伸并不意味技术的延伸,人员跟需要善于运用现有的数据来获得想要的结果和反馈

    2.9K2519发布于 2020-06-29
领券