首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏SRE运维实践

    如何分布存储

    在面对分布存储的时候,分为两种角度,一种是客户侧,一种是侧,客户是上帝,所以不谈上帝的操作,专注于侧的系统构建。 其实所有的系统构建,都应该分成两个纬度,一个是客户纬度,专注于客户体验,进行各种定制化输出;一个是纬度,专注于底层的,各种监控数据,各种操作,都使用白屏的操作,而不是天天命令行操作,使用平台层面 ,可以防止误操作,系统扛了大部分的责任,也可以让不用每天记忆那些傻逼命令,傻逼参数,减轻低等级的操作,让大脑有更多的空间来想想其他的事情。。。 测对象:一个是master,控制节点对象,主要用来提供元数据的保存,统计相关的信息,对外提供统一的API;一个是chunkserver,工作节点对象,主要是用来存储数据。 如果说,你看了上面的那么多内容,还不能做出一个测的分布维系统,那我也就无话可说了,对象有了,动作有了,剩下的就是代码了。。。 等风来。。。。 闲扯。。。

    1.6K30发布于 2019-07-08
  • 来自专栏张戈的专栏

    菜单Shell脚本调试小记

    同事在网上 down 了一个脚本菜单模板,想把我们已经存在的功能脚本整合到一起,做成多功能的 Linux 工具。

    1.2K20发布于 2018-03-23
  • 来自专栏devops_k8s

    的感悟(做需要考虑事,组织结构,学习地图....)

    需要考虑的事 简介 /* 是在于一个量 最少的人,最多的事 并且保证业务 比如说google的一个数据中心,只有几个人在维护 不能直接的创造价值,而是可以变相的节约成本 研发 研发负责通用的平台设计和研发工作,如:资产管理、监控系统、平台、数据权限管理系统等。提供各种API供或研发人员使用,封装更高层的自动化维系统。详细的工作职责如下所述。 相关技术: F5, Nginx, LVS, HA-proxy, MHA, Zookeeper, 各种其他分布集群方案, … 4.监控和警报 时刻担心网站挂掉,一年365天、每周7天、每天24小时, ; 【岗位要求】 1.本科及以上学历,6年以上大型业务应用系统的架构设计和落地的实际能力,熟悉分布、缓存、消息等机制,能对分布常用技术进行合理应用,解决实际架构问题; 2.海量数据处理和架构能力及经验 3.精通Java/Python/Go/C/C++其中至少1种编程语言; 4.精通操作系统,数据库,IO、多线程编程原理、集合等基础框架,对JVM原理有深入的了解; 5.精通分布事务处理框架原理和实现

    8.1K1011发布于 2020-12-23
  • 来自专栏爱可生开源社区

    分布 | dble 命令知多少

    ---- dble 作为 MySQL 流⾏的分布开源中间件,在性能、稳定性、可⽤性已经过⼤规模用户使⽤考验,成为许多用户替换 mycat 不⼆之选。 作为 MySQL DBA 熟悉 dble ⽤法和⼿段,是掌握 MySQL 分布架构的必备技能之⼀,这⾥我们整理了⼀些常⽤的命令,在你过程中能帮你快速诊断重要信息。 show @@server 显⽰dble内存使⽤率,⾏时⻓,字符集 show @@database 查看 dble 配置了哪些逻辑库。

    77960发布于 2021-09-30
  • 来自专栏王先森

    Kubernetes-分布存储GlusterFS组件详解

    Kubernetes-分布存储GlusterFS组件详解 简介 在现代容器化应用开发中,Kubernetes 已成为主流的容器编排平台,为应用部署和管理提供了强大的功能。 在 Kubernetes 集群中,分布存储解决方案如 GlusterFS 成为了许多开发者和人员的首选。 本文将深入探讨 Kubernetes 中的分布存储,重点介绍 GlusterFS 的原理、架构以及在 Kubernetes 中的实践应用。 该分布文件系统具有多项突出特点,包括高扩展性、高可用性、高性能以及可横向扩展等。 与其他存储解决方案相比,GlusterFS 的设计中没有元数据服务器,因此整个服务不存在单点故障的隐患,为应用部署和提供了更高的稳定性和可靠性。

    2.1K10编辑于 2024-04-29
  • 来自专栏kafka专栏

    【kafka】Leader重新选举脚本

    1 指定Topic指定分区用重新PREFERRED:优先副本策略 进行Leader重选举

    4K40编辑于 2021-12-31
  • 来自专栏kafka专栏

    【kafka】ConfigCommand脚本

    默认配置 附件 More 日常 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置

    3.2K10编辑于 2022-04-13
  • 来自专栏民工哥技术之路

    Ceph分布存储日常管理手册

    nearfull osd(s) or pool(s) nearfull 此时说明部分osd的存储已经超过阈值,mon会监控ceph集群中OSD空间使用情况。如果要消除WARN,可以修改这两个参数,提高阈值,但是通过实践发现并不能解决问题,可以通过观察osd的数据分布情况来分析原因。

    3K30发布于 2020-09-15
  • 来自专栏NebulaGraph 技术文章

    数据库 | 携程分布图数据库NebulaGraph治理实践

    作者简介:Patrick Yu,携程云原生研发专家,关注非关系型分布数据存储及相关技术。 生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面 图片 结构化语句查询 图 DSL 目前主流的有两种,Gremlin 和 Cypher,前者是过程式语言而后者是声明语言。 NebulaGraph 支持了 openCypher(Cypher 的开源项目)语法和自己设计的 nGQL 原生语法,这两种都是声明语言,在风格上比较类似 SQL。 NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    4.4K40编辑于 2022-12-12
  • golang平台实战,服务树,日志监控,任务执行,分布探测_小乙

    在云原生技术深度渗透企业 IT 架构的当下,传统模式正面临资源管理混乱、故障定位低效、跨地域覆盖不足等核心挑战。 这些案例揭示了一个关键痛点:企业需要一套能够实时感知资源拓扑、主动探测服务状态、并实现故障自愈的智能化体系。 四、分布探测网络:构建主动的健康检查体系分布探测网络是平台的“感知延伸”,通过多地域节点部署与智能分析,实现从基础存活检查到业务逻辑验证的全维度健康评估。1. 五、技术融合与生态整合:迈向 AIOps 智能时代基于 Golang 的平台通过深度整合云原生生态组件,形成标准化技术栈:日志聚合:集成 Loki 实现轻量化日志存储与查询,降低 ELK 栈的成本 结语:从工具开发到价值创造在 AIOps 时代,服务树与自动探测系统正重新定义边界。

    32110编辑于 2025-11-28
  • 来自专栏北京马哥教育

    故事】小白黑化记

    来源:人那些事儿 ID:jzjytd2016 【01】换工作 2017年8月份的某一个晴朗慵懒的下午,我在望京中环南路7号西家大院E楼5层最角落且紧靠大落地窗的工位上掐指一算,我在研究院竟然已经工作 顶着小伙伴和家人都觉得你脑子进水的诧异目光,我开始了我的换工作大业,从实习开始就在研究院工作,突然开始可以选择了竟然有些茫然,种种纠结波折暂且不表,总之,在2017年12月18号,我走进了东四157号,正式成为了银河信息化集中交易团队的一份子 每每想到这些,我除了自责、懊恼、自我怀疑之外,也深深体会到了团队成员的团结和大家释放出来的善意,对于团队来讲,每天来自业务部门及客户的压力非常大,小心翼翼,如履薄冰,全部精力用来对抗外部还不够,对于团队内部制造麻烦消耗精力的人的态度 这次经历也让我对工作有了新的认识和更多的思考,在这里和大家分享一下: 操作层面 1. 线上操作无小事”,坚持 “双人复核”,坚持“按照流程操作” 端正心态,受过去经历和个人性格的影响,我是一个有一点个人英雄主义倾向的人,来到新的团队,更是急于证明自己,心态出了问题自然会导致路线跑偏,生产系统线上是一个严谨度要求非常高的工作

    2.9K30发布于 2018-06-20
  • 来自专栏devops_k8s

    管理与自动化

    1 工作有哪些? 7.2 管理文章开头说管理主要目标是标准化/规范化,自动化,可视化/web化,从切身体验来看管理的目标也是随着自动化阶段的不同而变化的。 理由:(1)自动化的价值在于,将从繁琐的、例行、容易发生人为事故的工作中脱离出来,做更有价值的业务维和服务。所以,从这个角度来看,自动化既不是起点,也不是终点。 自动化不是万能的,我们需要看清楚它的位置。(2)的本质到底是服务,是服务于业务,因为是用技术解决业务问题,的价值要依托于业务才能体现。 不是因为技术高深,或者管理了几万台服务器而很牛逼,也不是能玩转很多开源工具而很牛逼,这都不是的关键。对于来说,服务第一,技术第二。

    2.9K60编辑于 2023-07-21
  • 来自专栏智能运维圈

    IT发展进程中不同时期的差异!传统、互联网、业务

    作为IT运行的有力保障,在不同时期和不同类型的企业中正在发挥着越来越大的支撑和引领作用,今天就让我们聊聊信息化时代的传统、互联网时代的互联网维和数字化时代的业务有什么不同! 因此信息化系统的开发设计都是烟囱架构,纵向扩展能力强,横向扩展能力弱,系统内部重度耦合,而系统之间无关联或弱关联。这就造成了一种现象——信息孤岛丛生。 因此,互联网在基础设施、数据库、中间件、分布存储、自动化部署等环节通常大量采用开源或基于SaaS的自动化监控工具,如Zabbix、Nagios和云智慧监控宝等,这些产品的横向扩展能力很强,具有分布 故障发生时,要求互联网能够第一时间发现问题,并快速进行根因分析,依靠人工巡检的传统管理方式严重落后,自动化逐渐流行。 未来,随着机器学习、深度学习等技术的不断成熟,AI技术将在业务体系中得到广泛的应用,共同推动IT市场的进步,而这就是业务在几年之后发展方向——智能AIOps。

    4.5K201发布于 2021-05-11
  • 自动化-标准】标准标准插件使用技巧-篇

    蓝鲸智云标准,以下简称标准标准中的标准插件:标准自带封装好的插件,主要是蓝鲸平台各个产品的原子操作,可以直接拖拽到流程画布里使用。如果标准插件不满足,则需要自定义开发插件。 默认标准插件有哪些部署完社区版,标准里默认有以下标准插件,覆盖5个类醒,总数40+【蓝鲸服务】标准插件使用方法1、HTTP请求该插件使用需要确保请求的URL在当前网络下是能访问演示:选择http插件配置插件参数新建任务执行效果

    33010编辑于 2025-09-17
  • 来自专栏六个周

    相关

    服务器配置: 数据库rds、redis、nacos、nginx、node、git、域名、OSS、java、maven 安装Java\maven\nginx\Mysal JAVA yum install java-1.8.0-openjdk : java -version vim /etc/profile.d/java.sh JAVA_HOME=“/usr/lib/jvm/java-1.8.0-openjdk” source /etc/profile.d/java.sh 验证:echo $JA

    3.5K30编辑于 2022-10-28
  • 来自专栏互联网运维杂谈

    杂谈

    前几天和一个朋友聊天,谈到的方方面面。简要记录如下: 1、关于愿景 建立标准化的体系,打造透明化的综合服务平台。 在YY的团队划分是:一线、应用(业务)、平台(网络、系统、数据库)、开发(监控和工具开发两个方向)、IT、应用、安全。 在腾讯部门团队:分成三个中心: 中心:前端、中间层、数据层、基础开发 运营分析中心:面向产品的运营分析和数据挖掘、面向技术的数据分析(没有挖掘) 基础架构中心:负责公共组件的开发 团队管理人员,要坚持走动管理,而非报告人员很忙,很难让他们把屁股从凳子上移开,跟你做一次完整的工作汇报,需要领导主动去找他们沟通了解工作情况。 16、 关于金融维和互联网的区别 金融是规范式的,互联网是开放、激情的;金融的难点是对于商业产品的把控能力;互联网的难点是敏捷业务驱动下如何做出好吃的大杂烩。

    7.3K13发布于 2019-11-18
  • 来自专栏sktj

    ceph

    一、集群扩展 1、添加OSD节点 image.png image.png image.png image.png image.png image.png image.png image.png image.png image.png 2、删除OSD节点 image.png image.png image.png 3、添加mon节点 image.png image.png image.png image.png image.png i

    2.6K30编辑于 2022-05-18
  • 来自专栏sktj

    Docker

    1、在线扩容 2、#单主机容器通信由 --icc控制,设置为false,容器间不能通信,默认为true ~设置link ~通过虚拟IP和端口 3、单主机容器网络:none,host,bridge https://www.cnblogs.com/justinli/p/11679270.html 4、docker 跨主机通信 ~flannel通信 ~overlay方式 ~macvlan方式 ~weave方式 ~calico方式 5、docker 更改容器日志驱动 docker run -d --log-driver=syslog redis -v 方式处理日志 日志收集 6、监控 docker stats

    1.8K20发布于 2019-12-13
  • 来自专栏python3

    linux

    伴随着对于系统性能、成本以及扩展性的新需求,分布数据库系统应运而生,力求突破单机 MySQL 容量和性能瓶颈,彻底消除单机数据库无法支撑企业业务高速发展的后顾之忧。 在《关于分布数据库,你需要知道的一些事》系列里,大 U 将以 UCloud 分布数据库产品——UDDB 为例,用三篇的篇幅为大家详细解析分布数据库的一些重要特性和技术实践细节。 本篇是该系列的第一篇,将概括性地阐述分布数据库的优势和应用场景,难度偏入门级。 Linux服务器被黑遭敲诈,如何在3小时内紧急逆袭 作者介绍:陈浩,北信源研发工程师,五年Linux工作经验,热衷技术研究、实践和团队分享。 看完就会用的 GIT 操作图解分析 无论你是前端还是后台,无论是还是移动端研发,GIT 是逃避不了的东西,当然你说你要用 SVN,那不在这次的讨论范围之内。

    17.6K30发布于 2020-01-03
  • 来自专栏华汇数据服务

    企业IT的目的?如何提高效率?

    当多个行业企业信息化建设走过大规模新建期后,IT成为企业IT的常态。系统、数据与业务的日益复杂,都加剧了企业IT的难度。 对大多数自建团队与多个供应商合作并存局面的企业而言,IT管理需要考虑内外部兼顾的情况无疑会令CIO们颇为头疼,比如医院、制造、金融、政府等政企行业用户。 某三甲医院IT管理者甚至表示,希望帮助寻求IT方面好的方案,原因在于他们日常工作主要是支撑,而医院大大小小系统几百个,对系统的精细化和个性化需求,导致IT服务商过多,如此复杂的情况让日常容易陷入被动且难管理 因此,企业要明白IT的目的是什么?如何能让IT提高企业的业务运营质量。 达到以下几个方面的目标:(1)全面提高企业IT部门效率基于IT比服务流程化的管理模式将提升IT部门的服务能力提高IT故瞳的解决效率,如此一来自然降低了IT部门相关人员的工作量同时有效协调资源减少IT

    3.2K30编辑于 2022-07-01
领券