首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏SRE运维实践

    如何分布存储

    在面对分布存储的时候,分为两种角度,一种是客户侧,一种是侧,客户是上帝,所以不谈上帝的操作,专注于侧的系统构建。 其实所有的系统构建,都应该分成两个纬度,一个是客户纬度,专注于客户体验,进行各种定制化输出;一个是纬度,专注于底层的,各种监控数据,各种操作,都使用白屏的操作,而不是天天命令行操作,使用平台层面 ,可以防止误操作,系统扛了大部分的责任,也可以让不用每天记忆那些傻逼命令,傻逼参数,减轻低等级的操作,让大脑有更多的空间来想想其他的事情。。。 测对象:一个是master,控制节点对象,主要用来提供元数据的保存,统计相关的信息,对外提供统一的API;一个是chunkserver,工作节点对象,主要是用来存储数据。 如果说,你看了上面的那么多内容,还不能做出一个测的分布维系统,那我也就无话可说了,对象有了,动作有了,剩下的就是代码了。。。 等风来。。。。 闲扯。。。

    1.6K30发布于 2019-07-08
  • 来自专栏嘉为动态

    工具】因为K8s,人员遇到职业危机....

    点击立即体验WeOps众所周知容器(docker)是一艘航行在IT大海里的“轮船”为了驶向彼岸,需要一个“船舵”(K8S)那如何更好更快地前行呢? 你需要“We Operations”统一管理,让船上的“货物”井井有条统一监控,“货物”故障提前感知,更快解决问题下面正式介绍多才多艺的:嘉为蓝鲸一体化平台WeOps! 成熟稳定腾讯每年3亿重金打造+超10年持续迭代+支撑30w节点实践,构建成熟稳定的平台。轻量部署轻量化,支持单机部署,20+年专家经验沉淀+10万用户的市场验证,内置场景,一键启用。

    81710编辑于 2022-09-27
  • 来自专栏腾讯专有云

    专题第8期:软件源

    云平台的研发和人员可以通过软件源管理系统快速搭建和维护 YUM、APT 等软件源,以便满足研发和人员在环境搭建、开发、构建、测试、运行等环节的组件和工具依赖需求,提升整体研发和效能。 历史记录 用于人员查看指定软件源的同步操作事件,便于判断软件源的整体工作状态。 操作记录 用于人员或者审计人员来查看指定软件源的操作记录(新建、修改和删除)。 这也是我们专题的最后一期了,小编这里将系列专题做个汇总,方便大家系统的回顾云,如:统一配置信息管理的CMDB、监控告警自动化的云哨系统、混沌工程故障演练平台等等: 第一期 专题第一期:数据中枢 第二期 专题第二期:警戒哨兵 第三期 专题第三期:诊断专家 第四期 平台第四期:数据掘金者 第五期 平台第五期:业务永续 第六期 平台第六期:混沌工程,助力系统稳如磐石 第七期‍ 专题第七期:云上保险柜 第八期 专题第八期:软件源 古人云:学无先后,达者为师,在写这一系列推文的时候,所有的产品经理就好似上学时的老师一样,教授给小编相关的知识以及经验,让小编不自觉的就想起了以前上学时恩师的谆谆教诲

    83820编辑于 2022-06-24
  • 来自专栏学习计划

    篇 k8s(Kubernetes)

    什么是k8s? k8s是kubernetes的简称,即字母“k”到最后一位相隔8位字母。名字来源于希腊语,意思是“舵手”或“领航员”。 设置远程登录root账户 vim /etc/ssh/sshd_config 增加一行 PermitRootLogin yes 重启服务 service ssh restart 关闭交换空间(k8s 192.168.17.129:6443 --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash sha256:6a051b8d0b670f357fe0d8e6a282b062b6f090d1b90968d6c3f3cea8dd33d104

    4.4K10发布于 2021-01-29
  • 来自专栏若尘的技术专栏

    k8s命令大全

    k8s常用命令 node 查看服务器节点 kubectl get nodes 查看服务器节点详情 kubectl get nodes -o wide 节点打标签 kubectl label nodes pods --all-namespaces #查看具体pods,记得后边跟namespace名字哦 kubectl get pods kubernetes-dashboard-76479d66bb-nj8wr --namespace=kube- system 查看pods具体信息 kubectl get pods -o wide kubernetes-dashboard-76479d66bb-nj8wr - my-container # 流式输出 pod 中容器的日志(stdout,pod 中有多个容器的情况下使用) kubectl run -i --tty busybox --image=busybox -- sh # 交互 # 标记 my-node 不可调度 kubectl drain k8s-node # 清空 my-node 以待维护 kubectl uncordon k8s-node # 标记 my-node 可调度

    5.4K86编辑于 2021-12-04
  • 来自专栏张戈的专栏

    菜单Shell脚本调试小记

    同事在网上 down 了一个脚本菜单模板,想把我们已经存在的功能脚本整合到一起,做成多功能的 Linux 工具。

    1.2K20发布于 2018-03-23
  • 来自专栏devops_k8s

    的感悟(做需要考虑事,组织结构,学习地图....)

    8.监控很重要,可以查看流量,某些服务使用内存是否超标,没有监控出了事都不知道,监控不仅要监控服务的端口防止挂掉,还要他深度的使用,比如mysql的慢查询,命中率,主从状态等等。 (8)基础服务建设 业务对DNS、NTP、SYSLOG等基础服务的依赖非常高,需要设计高可用架构避免单点,提供稳定的基础服务。 研发 研发负责通用的平台设计和研发工作,如:资产管理、监控系统、平台、数据权限管理系统等。提供各种API供或研发人员使用,封装更高层的自动化维系统。详细的工作职责如下所述。 相关技术: F5, Nginx, LVS, HA-proxy, MHA, Zookeeper, 各种其他分布集群方案, … 4.监控和警报 时刻担心网站挂掉,一年365天、每周7天、每天24小时, ; 【岗位要求】 1.本科及以上学历,6年以上大型业务应用系统的架构设计和落地的实际能力,熟悉分布、缓存、消息等机制,能对分布常用技术进行合理应用,解决实际架构问题; 2.海量数据处理和架构能力及经验

    8.1K1011发布于 2020-12-23
  • 来自专栏爱可生开源社区

    分布 | dble 命令知多少

    ---- dble 作为 MySQL 流⾏的分布开源中间件,在性能、稳定性、可⽤性已经过⼤规模用户使⽤考验,成为许多用户替换 mycat 不⼆之选。 作为 MySQL DBA 熟悉 dble ⽤法和⼿段,是掌握 MySQL 分布架构的必备技能之⼀,这⾥我们整理了⼀些常⽤的命令,在你过程中能帮你快速诊断重要信息。 show @@server 显⽰dble内存使⽤率,⾏时⻓,字符集 show @@database 查看 dble 配置了哪些逻辑库。

    78060发布于 2021-09-30
  • 来自专栏阿贤Linux

    Linux工程师面试题(8

    Linux工程师面试题(8)祝各位小伙伴们早日找到自己心仪的工作。持续学习才不会被淘汰。地球不爆炸,我们不放假。机会总是留给有有准备的人的。加油,打工人! 8 制作镜像方式docker commit # 通过修改现有容器,将之手动构建为镜像docker build # 通过Dockerfile文件,批量构建为镜像9 K8S 有那些组件,都是干什么用的 10 K8S 创建一个pod的流程准备好对应的yaml文件,通过kubectl发送到Api Server中;Api Server接收到客户端的请求将请求内容保存到etcd中;Scheduler会监测etcd 阿里云、腾讯云、华为云、今日头条、百家号、GitHub、个人博客公众号:阿贤Linux个人博客:blog.waluna.tophttps://blog.waluna.top/---原文链接: Linux工程师面试题 (8).

    1.1K30编辑于 2023-09-06
  • 来自专栏DBA随笔

    MongoDB与开发(8)---MongoDB备份与恢复

    // MongoDB与开发(8)---MongoDB备份与恢复 // 任何数据库都离不开日常的备份与恢复,这二者是数据库安全的前提,MongoDB的备份与恢复方法一般而言都采用自带的工具来进行

    91710发布于 2020-11-26
  • 来自专栏散尽浮华

    K8S部署ES集群 - 笔记

    /storage/k8s/es 2)创建NFS的rbac [root@k8s-master01 k8s_project]# cd [root@k8s-master01 ~]# cd /opt/k8s/k8s_project / [root@k8s-master01 k8s_project]# mkdir elk [root@k8s-master01 k8s_project]# cd elk/ [root@k8s-master01 1)创建es集群的storage [root@k8s-master01 elk]# pwd /opt/k8s/k8s_project/elk [root@k8s-master01 elk]# mkdir [root@k8s-master01 images]# pwd /opt/k8s/k8s_project/elk/es/images [root@k8s-master01 images]# ll total [root@k8s-master01 es]# pwd /opt/k8s/k8s_project/elk/es [root@k8s-master01 es]# mkdir deploy/ [root@k8s-master01

    4.3K30发布于 2021-03-04
  • 来自专栏技术杂记

    一个人员的编程思维8

    当然遵循,现的比较流行的 Restful + 微服务 架构可以看成一种网状流系统,SOA 架构可以看成是星型流系统(由MQ或信息总线来统一调度和管理,这样就更为松耦合,更强扩展性,比较适合大规模和分布) 上面都是一些显而易见的道理,但是从显而易见或司空见惯的事物中挖掘出营养却是一个非常值得努力的方向 因为这些司空见惯的的事物太多了,但我们未必真懂得其中的内涵或蕴藏的智慧,哪怕只深掘一层,将会发现遍地都是宝藏 作为

    29340发布于 2021-11-26
  • 来自专栏大数据成长之路

    快速入门Kafka系列(8)——Kafka监控及

    作为快速入门Kafka系列的第八篇博客,本篇为大家带来的是kafka监控及~ 码字不易,先赞后看! ? ---- Kafka监控及 在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具 useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull #kafka.eagle.username=root

    60840发布于 2021-01-27
  • 来自专栏王先森

    Kubernetes-分布存储GlusterFS组件详解

    Kubernetes-分布存储GlusterFS组件详解 简介 在现代容器化应用开发中,Kubernetes 已成为主流的容器编排平台,为应用部署和管理提供了强大的功能。 在 Kubernetes 集群中,分布存储解决方案如 GlusterFS 成为了许多开发者和人员的首选。 本文将深入探讨 Kubernetes 中的分布存储,重点介绍 GlusterFS 的原理、架构以及在 Kubernetes 中的实践应用。 该分布文件系统具有多项突出特点,包括高扩展性、高可用性、高性能以及可横向扩展等。 与其他存储解决方案相比,GlusterFS 的设计中没有元数据服务器,因此整个服务不存在单点故障的隐患,为应用部署和提供了更高的稳定性和可靠性。

    2.1K10编辑于 2024-04-29
  • 来自专栏kafka专栏

    【kafka】Leader重新选举脚本

    1 指定Topic指定分区用重新PREFERRED:优先副本策略 进行Leader重选举

    4K40编辑于 2021-12-31
  • 来自专栏kafka专栏

    【kafka】ConfigCommand脚本

    默认配置 附件 More 日常 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置

    3.2K10编辑于 2022-04-13
  • 来自专栏民工哥技术之路

    Ceph分布存储日常管理手册

    集群监控管理 集群整体运行状态 # ceph -s cluster: id:8230a918-a0de-4784-9ab8-cd2a2b8671d0 health: HEALTH_WARN

    3K30发布于 2020-09-15
  • 来自专栏NebulaGraph 技术文章

    数据库 | 携程分布图数据库NebulaGraph治理实践

    作者简介:Patrick Yu,携程云原生研发专家,关注非关系型分布数据存储及相关技术。 生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面 图片 结构化语句查询 图 DSL 目前主流的有两种,Gremlin 和 Cypher,前者是过程式语言而后者是声明语言。 2^8 通过配置 cache_bucket_exp = 10,将分片数改为 2^10 观察下来效果不明显,无法解决热点竞争导致的雪崩问题。 NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    4.4K40编辑于 2022-12-12
  • golang平台实战,服务树,日志监控,任务执行,分布探测_小乙

    在云原生技术深度渗透企业 IT 架构的当下,传统模式正面临资源管理混乱、故障定位低效、跨地域覆盖不足等核心挑战。 实例视图:钻取到具体 Pod,查看容器日志、监控指标等细节,支持人员 3 秒内定位故障节点。3. 变更追踪与根因分析服务树通过监听 K8s 事件流,实时记录资源变更历史。 四、分布探测网络:构建主动的健康检查体系分布探测网络是平台的“感知延伸”,通过多地域节点部署与智能分析,实现从基础存活检查到业务逻辑验证的全维度健康评估。1. 五、技术融合与生态整合:迈向 AIOps 智能时代基于 Golang 的平台通过深度整合云原生生态组件,形成标准化技术栈:日志聚合:集成 Loki 实现轻量化日志存储与查询,降低 ELK 栈的成本 结语:从工具开发到价值创造在 AIOps 时代,服务树与自动探测系统正重新定义边界。

    32710编辑于 2025-11-28
  • 来自专栏devops_k8s

    管理与自动化

    1 工作有哪些? 将应用或系统部署至不同环境;4.监控,对基础设施、应用或系统进行监控;5.告警响应,对告警通知的响应及处理;6.性能优化,对系统及相关组件性能进行优化;7.系统高可用,对应用系统中的单点进行高可用升级;8. 7.2 管理文章开头说管理主要目标是标准化/规范化,自动化,可视化/web化,从切身体验来看管理的目标也是随着自动化阶段的不同而变化的。 理由:(1)自动化的价值在于,将从繁琐的、例行、容易发生人为事故的工作中脱离出来,做更有价值的业务维和服务。所以,从这个角度来看,自动化既不是起点,也不是终点。 自动化不是万能的,我们需要看清楚它的位置。(2)的本质到底是服务,是服务于业务,因为是用技术解决业务问题,的价值要依托于业务才能体现。

    2.9K60编辑于 2023-07-21
领券