首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏后端云

    Kubernetes 记录(5

    如果发现节点剩余可分配资源大小比当前要被调度的 Pod 的 reuqest 还小,那么就不会考虑调度这个节点,反之,才可能调度。 若继续创建pod,即使cpu资源足够,若numa资源不够(就是没有任何一个numa可以满足pod的cpu数量的需求),pod也是无法启动的,状态会变为TopologyAffinityError。 (tcp) failed: Cannot assign requested address 实验3:多个目标 ip 相同目标端口 $ nohup nc 220.181.57.216 80 -v & [5] Pod亲和反亲和,Pod 拓扑分布约束 将 Pod 打散调度不同地方,可避免因软硬件故障、光纤故障、断电或自然灾害等因素导致服务不可用,以实现服务的高可用部署。 若不希望用强制,可以使用弱反亲和,让 Pod 尽量调度不同节点: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution:

    77510编辑于 2023-02-10
  • 来自专栏互联网运维杂谈

    IT:从运营

    “诗和远方”:-) 总体来看,大多数人认为两者含义并不完全一样,很多人都认为IT运营比IT的层次更高,有些成熟度较高的大型IT组织已经提出并在执行“从ITIT运营”的发展规划。 BSM、云计算、大数据等新的理念、技术和工具的出现、发展和变迁,都和IT正逐步开始从走向运营有密切关系,时至今日,从全局角度来看,可以说企业IT已经站在了从运营的一个重要拐点上。 IT阶段,IT组织更多地还是在解决三类人的基本需求,让用户能用,让老板批钱,让员工干活,当然也希望大家更满意,但受限于阶段性能力和各方面因素,先能保证这些基本需求就已经很不容易了,而做到这些,在相当长时间内也已经足够 假如IT部门不能与时俱进,还是停留在满足基本需求上,而不主动向追求卓越的运营迈进,提供更有竞争力的优质IT服务,那就很可能会在几年后会碰到更大的挑战。 以上是关于ITIT运营的一些不成熟的思考,抛砖引玉,希望能得到大家的批评和指教。

    7.5K54发布于 2019-11-20
  • 来自专栏kafka专栏

    5.【kafka】生产者消费组压力测试(5)

    1. 发送1024条消息--num-records 100并且每条消息大小为1KB--record-size 1024 最大吞吐量每秒10000条--throughput 100

    64830发布于 2021-08-06
  • 来自专栏前沿技墅

    从ITOMAIOps:IT管理向智能的进化

    AIOps 为IT提供了全新的管理思路。AIOps 的定义涵盖的两个阶段,可概括为两个层次的提升:数据信息分析层次的提升;信息知识提取层次的提升。 ? 从数据信息的分析,更多的是采用数据统计方法,帮助相关人员更好地从众多运数据中了解系统的运行状态,分析并定位故障,实时获取统计数据。 根据权威机构Gartner的预测,比起现今5%这样的数据比例, 2019 年,全球25%的公司都将系统性部署实施 AIOps 平台支持两个及以上的主要 IT 功能。 2022年,40% 的大型企业会通过大数据和机器学习的能力来帮助甚至逐渐取代传统中的监控、服务台及自动化流程。 在信息架构与应用系统日渐庞大的今天,如果再通过人工分析定位的方式,很难适应目前日益快速增长的业务需求

    5.7K50发布于 2018-06-08
  • 来自专栏智能运维圈

    1位5年智能开发对智能的理解

    2019年:进入了千寻的保障部门,接触到了更为庞大的业务。对智能有了进一步的理解。    •《Google SRE解密》:google 关于高可用保障的一本数据;    •赵成的体系管理课(极客时间):关于的经验分享    •《AIOps标准白皮书 对完整的智能解决方案,开始有了自己独特的理解; 总结一下自己的认知过程 12.png 从不同的角度看智能,以质量保障为例   个人认为,智能是一套复杂的人工智能的解决方案。 从业务的角度看智能   首先,智能是建立在运的基础之上的,只有了解了现有的的内容和技术体系,我们才能够合理的思考,智能在整个体系中的地位和作用。    5分钟定位问题 - 10分钟故障恢复;   •故障预测; 从产品的角度看智能   目标群体   智能的使用方,是一群有着丰富经验的专家,但是可能对数据分析、数据挖掘没有任何概念

    1.8K72发布于 2021-06-25
  • 来自专栏侯哥的Python分享

    MySQL5-Mycat配置

    写操作转发到第一个writeHost,第一个挂了,切换到第二个;1:写操作随机发配到配置的writeHost) dbDriver:数据库驱动,支持native和jdbc,native主要支持MySQL5+

    92910编辑于 2023-12-18
  • 来自专栏云计算与大数据

    :记录因grpc需求而引发的glibc故障

    背景需求: 准备使用grpc作为服务组间的服务通信协议 问题发生: 本地开发采用mac开发,依赖如下: <dependency> <groupId>org.lognet</groupId zxyuying/article/details/44085753 https://help.aliyun.com/knowledge_detail/41478.html#%E9%80%9A%E8%BF%87%E5% 9B%9E%E6%BB%9A%E7%A3%81%E7%9B%98%E6%81%A2%E5%A4%8D

    1.1K20发布于 2018-12-17
  • 日志服务 MCP Server,让大模型 “听懂” 需求

    日常工作中,及研发同事经常需要查询日志来排查系统异常问题,每次查询日志都需要登录监控系统、查找监控资源、编写日志查询语句,最后再逐行查看日志。这实在是太麻烦了,严重影响了工作效率。 无论是技术小白还是资深,都能轻松上手,大幅提升日志查询效率。 自然语言生成查询语句:只需用日常语言描述需求,MCP Server自动生成精准的日志查询语句典型使用场景 1. 排障:当系统出现异常时,大模型智能分析当前错误日志,快速定位问题 2. 上报日志腾讯云日志服务:您可将日志上报至日志服务,使用真实的日志进行查询。也可使用日志服务免费的Demo日志,开启方式详见产品文档。本文以负载均衡CLB Demo日志为例进行演示。 2.

    1.8M34编辑于 2025-08-08
  • 来自专栏华汇数据服务

    数字经济浪潮下的国产化需求

    平台需要满足新增需求并服务于各种应用场景,一个无可回避的问题已经浮上水面: 如何有效这些基础设施? 当前市场上的应对方式,是加大在IT服务方面的投入。 根据前几年中国IT服务市场的发展形式和对未来发展趋势的分析,我国IT服务市场未来几年需求仍然会比较旺盛,前瞻产业研究院预测 2025 年我国IT服务市场规模将达到 3668 亿元左右。 2019 年5G通信全面商用,以及 2020 年信创大热成为信创元年。 5G通信挪开了传输这一块大石,让各行业得以全方位布局“云边端一体化”的体系;信创产业的大火,则提供了一次基础设施的“换血”机遇。 资本因素。 老旧的模式、维系统早已完成IT从无有的历史使命,成为鸡肋;新的模式缺少“吃螃蟹”验证。无数的行业需求举棋不定,以至于还在复刻“流程和标准规范化”的模式,争取让业务增量跑赢人力成本。

    80720编辑于 2022-09-01
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(二)

    许多Ceph新手在测试环节以及预生产的时候会对Ceph集群的部署以及调优产生困扰,A公司小哥也遇到了部署和调优问题。下面来看看A公司小哥是如何解决这个问题的。 关卡二:部署调优关(部署) 难度:三颗星 上篇文章开头我也说到了,部署Ceph是新手的噩梦,对于传统来说部署一套Ceph是很难的事情,A公司小哥在官网以及Ceph中国社区的相关资料和帮助下才渐渐熟悉了什么是 而此时就是考验一个人员的处理故障的基本素质,好在这个小哥有过一两年的经验,经过基本排查,最终确定了是时间问题。由于三个节点时间不一致而导致的这个问题,这里称之为“OSD打摆子”。 图5:Ceph节点1 ? 图6:Ceph节点2 ? 图7:Ceph节点3 其实在开始部署Ceph的环境准备环节就说到了要配置NTP服务器,然而大部分人容易忽略。 所以云平台也好存储也好,都会因为时间而产生不必要的故障问题,建议人员要注重时间问题。 ? 图8:Ceph集群 好了言归正传,上图是小哥新搭建好的集群。三节点、六个OSD的Ceph小集群。

    1.2K10发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(一)

    从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级人员转型人员,尤其是软件定义存储的之间经历的沟沟坎坎。 随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展,数据中心的扩容建设进入高峰期,云数据中心需求应运而生。 你应该在选择存储介质之前了解集群的工作负载和性能需求。Ceph使用存储介质有两种方法:OSD日志盘和OSD数据盘。Ceph的每一次写操作分两步处理。 下面贴出来A公司小哥根据自己场景需求选择的硬件配置。 欲知后事,且听下文《从传统演进历程之软件定义存储(二)》,主要讲述了A公司小哥在硬件选型完毕之后开始部署Ceph遇到的一些问题以及解决办法。

    1.7K20发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(四)

    2、影响性能的因素 传统存储的封闭特性带来的优势是从存储操作系统软件专用硬件的深度优化,而软件定义存储、Server SAN的目的是软件和硬件的解耦合,它们带来了灵活性,免除了硬件厂商锁定,但很多时候却不能充分发挥硬件的潜力 同时,由于网络交互在分布式存储中的引入,给存储的整体“时延(latency)”特性带来了挑战,很多分布式存储系统因没有恒定的低时延无法满足高实时性数据库等应用的需求。 RGW启用的cvitweb域名端口设置正确:<storage type=”s3″ config=”accesskey=HX1XZCKWT6RDC8GA96AI;secretkey=j0RR17r0yx5jsszstHCTl8bY1usJ4fs1mUJNw8BC

    2K20发布于 2019-04-09
  • 来自专栏IT大咖说

    谈AIOps基础-从自动化智能化

    在这个阶段完成后我们进入自动化阶段。 右侧是大数据,一共分为 5层:即数据分析处理层,数据资产层,数据服务能力层,大数据应用服务层,包括了业务监控、日志检索、异常检测、故障诊断等都是这层的能力。 而实际对于自动化可以分为以下三个大部分的内容 流程的自动化:包括了巡检,事件问题管理,变更管理,版本发布等 配置库:最基本的配置管理库,从物理资源逻辑资源源代码库服务库 监控的自动化 :自动化数据采集,监控预警,性能分析,后续触发的自动管控操作 对于流程最终往往都涉及操作,操作最终结果涉及配置库信息的变更,而对于监控本身有可能发现类问题并启动相应的流程进行处理 在自动化里面,我们会很强调工具链这个词,即要实现整个自动化涉及诸多的流程协同,底层更是涉及诸多的工具协同,而这些工具本身都是单一的完成一种类型的操作任务,如果这些工具间没有协同和集成起来,那么将直接导致我们整个过程是存在隔离和断点的

    8.6K31发布于 2020-11-03
  • 来自专栏Linux云计算及前后端开发

    曾老湿带你了解运需求-实现自动化平台

    自动化平台功能大纲 核心功能1-Dashboard及展示 核心功能2-资产管理及展示 核心功能3-SQL审核及展示 核心功能4-工具及展示 核心功能5-堡垒机及展示 ---- 自动化平台功能大纲 功能实现: 1)崩溃率:通过分析日志(底层Logstash将日志导入数据库中),实时获取日志的状态码,计算出4xx,5xx的状态,和当前日志总量相比,得出结果,通过获取数据库中的数据,以画图的形式展示在页面中  ---- 工作台  作用:这是我们人员平时写周报,日报,月总结,年总结,绩效考核的地方。 功能实现: 将TXT或者是EXECL集成页面当中即可。 所有服务器的权限,都控制在运的手中,所以,所有服务器都看的。 而开发,或许只能看到开发环境的机器,测试只能看到测试环境的机器。 核心功能5-堡垒机及展示 最后一个页面,也是最常用的一个功能,堡垒机,众所周知,如果没有跳板机,我们人员登录一台服务器会很麻烦, 尤其是当公司使用excel来维护资产管理的时候,所有服务器的密码,ip

    88030编辑于 2022-10-31
  • 来自专栏DBA随笔

    Redis开发与学习笔记---(5)

    // Redis开发与学习笔记---(5) // 事务 redis中的事务和MySQL中的事务类似,也是为了保证多条命令组合的原子性,为此,redis提供了简单的事务功能以及集成Lua来解决这个问题 5、消息队列系统,消息队列系统可以说是一个大型网站的必备系统组件,redis提供了发布订阅功能和阻塞队列的功能,虽然和专业的消息队列比还不够抢单,但是对于一般的消息队列功能基本可以满足。

    51510发布于 2020-04-01
  • 来自专栏互联网老辛

    5 种常用监控工具都不会?你算啥

    来自:马哥Linux 监控工具千千万,仅开源的解决方案就有流量监控(MRTG、Cacti、SmokePing、Graphite 等)和性能告警(Nagios、Zabbix、Zenoss Core 目前,Nagios 也占领了一定的市场份额,不过从观察来看,Nagios 并没有与时俱进,已经不能满足于多变的监控需求,架构的扩展性和使用的便捷性有待增强,其高级功能集成在商业版 Nagios XI 中 Zabbix Zabbix 是一个分布式监控系统,支持多种采集方式和采集客户端,有专用的Agent(代理),也可以支持 SNMP、IPMI、JMX、Telnet、SSH 等多种协议,它将采集的数据存放到数据库 5、Grafana Grafana 是一款采用 go 语言编写的开源应用,主要用于大规模指标数据的可视化展现。 ? Grafana支持许多不同的数据源。 你可以把来自多个数据源的数据组合到一个仪表板,但每一个面板被绑定一个特定的数据源,它就属于一个特定的组织。 ? 最后 每个监控工具的优势和能力都是不同的。你可以根据实际应用需求,选择适合的监控工具。

    3.3K21发布于 2021-04-22
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(六)完结

    回到最初的Ceph工程师的问题,本系列讲述的是传统向新一代云转型之软件定义存储部分的转型,是企业业务系统从规划、设计、实施、交付到的最后一个步骤,也是重要的步骤。 1.通过tell 命令在线修pool的副本数,并修改配置文件且同步所有节点。  #保险起见,最好把MON和OSD关于副本数的选项都修改。 2. 好了,最后一篇文章到此结束,在本系列开头讲到随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展,数据中心的扩容建设进入高峰期,云数据中心需求应运而生。 因此,云数据中心的对于传统的人员提出了新的能力要求——不仅要熟悉传统硬件设备,同时要掌握虚拟化、云系统的部署、监控和管理等能力。 通过九篇文章简单介绍了下传统向云或者说是传统向SDS的转型之路。

    95220发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(五)中

    关卡五:Ceph灾备神兵利器-故障域 重要度:五颗星 转眼六篇文章过去了,还记得大明湖畔(本系列一)的小哥吗? 勿忘初心,咱们还是回到最初的小哥,小哥经历了硬件选型、部署、调优、测试的一系列转型的关卡,终于就要到最后的上线了。 小哥最初的梦想搭建一个Ceph存储集群,对接云服务,底层存储实现高可用的数据访问架构。 根据存储管理平台的需求和集群规模,需要实现: 将物理环境按高可用的拓扑架构规划好,并且完成存储集群部署。 将24台服务器分别规划在3个机架上,每个机架8台服务器,每个机架设置为一个故障域,创建一个3副本存储资源池,数据副本自动分布不同故障域中,也是分布在不同机架上,保障数据安全。

    82820发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(三)上

    上回书讲完了部署,部署完成之后,就开始了无休止的调优,对于Ceph人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph。 调优是件非常头疼的事情,下面来看看小哥是如何调优的,小哥根据网上资料进行了一个调优方法论(调优总结)。 在Linux的各种发行版中,为了保证对硬件的兼容和可靠性,很多内核参数都采用了较为保守的设置,然而这无法满足我们对于高性能计算的需求,为了Ceph能更好地利用系统资源,我们需要对部分参数进行调整。 设定Linux操作系统参数:vm.swappiness=0,配置/etc/sysctl.conf。 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5         PU L#10 (P#5)         PU L#11 (P#25)      

    1.3K20发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(五)上

    可以在多地间依据企业需求做到数据的实时或者异步的保护。 但是缺点同样显而易见,及存储网关作为一个总的数据流量出入口本身就可能成为一个瓶颈! 部分备份软件利用自身私有协议,将在本地的备份数据远程同步远端的备份节点上。 这种方式有效做到了带宽的有效利用和数据的高一至性。但是缺点也非常明显,既无法做到业务的实时可用。

    96420发布于 2019-04-09
领券