首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏yuyy.info技术专栏

    Go进阶训练营 – 微服务概览与治理四:集群 & 租户

    为什么需要集群? L0 服务,一旦故障影响巨大,所以需要保障高可用。 单一集群中,多个节点保证可用性,一般采用 N+2 来冗余节点。 N 通过压测得出 出现集群级别的问题,例如redis集群出问题了,整个集群的服务都受影响,所以需要集群来保障可用性。每个集群独占缓存,带来更好的性能和冗余。 部署到多个机房,避免单机房故障。 集群实现 利用 pass 平台,部署时通过环境变量的形式注入集群信息,例如redis cluster信息,在服务发现注册的时候,带入这些元信息。从而达到集群之间的隔离。 集群产生的问题 面向各个应用搭建多个集群,例如给稿件服务提供一个账号集群,给游戏服务提供一个账号集群集群时,会存在缓存,写操作时需要更新缓存。可以采用订阅mysql binlog,广播到各集群,清理对应缓存。

    81521编辑于 2022-09-02
  • 来自专栏开源部署

    istio集群服务治理

    Citadel堡垒: 它管理着集群的密钥和证书,是集群的安全部门。 典型的如果我们的服务是跨网络通讯(Istio允许我们建立一个安全的集群集群网络),开发人员想省事懒得对通讯数据进行加解密和身份认证,这事就可以交给Citadel来处理了。 4、集群内(包括集群的入口和出口)所有流量的自动化度量、日志记录和追踪。 ​5、在具有强大的基于身份验证和授权的集群中实现安全的服务间通信。 6、Istio 为可扩展性而设计,可以满足不同的部署需求。

    1.1K10编辑于 2022-09-15
  • 来自专栏AI+运维:智能化运维的未来

    “GitOps 一上集群,为什么就开始天天打架?”——聊聊集群 GitOps 的推广与冲突治理

    “GitOps一上集群,为什么就开始天天打架?”——聊聊集群GitOps的推广与冲突治理这两年,GitOps基本已经成了Kubernetes运维的“政治正确”。不上GitOps? 显得不够云原生只在单集群玩GitOps?领导一句话:那能不能推广到所有集群?于是问题来了。GitOps在单集群是信仰,在集群往往是灾难。 三、我推GitOps集群时的一个核心原则我一直坚持一个非常“土”的原则:集群GitOps,先分权,再复用。听起来有点反直觉,但它救过我很多次命。 四、一个“能活”的集群GitOps仓库结构先上结构,再讲思想。 哪怕配置重复一点,也比“多头治理”强。

    11610编辑于 2026-01-30
  • 来自专栏腾讯云原生团队

    Clusternet - 新一代开源集群管理与应用治理项目

    新的形态导致基础设施的管理和应用治理的方式发生变化,传统的技术架构与管理方式增加了复杂性和风险,难以满足跨多个平台的应用服务部署和治理的挑战,代表业内最新理念的 Clusternet 项目应运而生。 开源 Clusternet 项目 Clusternet ( Cluster Internet ) 是腾讯云开源的兼具集群管理和跨集群应用编排的云原生项目,让管控集群就像上网一样简单。。 租户 高可用与容灾 多云中心 服务边缘计算 架构理念 Clusternet 面向未来云原生多云集群而设计,领先的架构支持用户以全局视角统一管理各个集群及应用,轻松地将用户业务发布至全球,一次发布处处运行 提供 Kubernetes 风格 的 REST API 用于访问各个子集群,尤其是对于边缘子集群的访问,同时还支持子集群的服务互访。 支持集群的应用分发及治理。 未来展望 Clusternet 是腾讯最新开源的集群管理与应用治理项目,全新的架构设计遵循云原生理念,完全兼容原生 K8s 资源并扩展至多集群,支持用户快捷和低成本的对接 K8s 云原生生态,助力您的业务向未来分布式云的转型

    3.1K40发布于 2021-08-30
  • 来自专栏瞎说开发那些事

    服务治理 2 --- Eureka集群

    一、 高可用注册中心 在上一篇[微服务系列] 服务治理—Eureka文章中,介绍了服务注册中心的单节点搭建部署。 然而在常用的微服务结构设计中,一般都是采用分布式的环境,以避免单机故障导致服务调用不可用,所以需要对微服务中的各个组件进行高可用的部署,服务治理中的服务注册中心也是一样。 本章将结合以下的拓扑图构建高可用的服务治理。 ? 三、 快速实践 01 1. 四、小结 通过本文简单介绍了Eureka集群的配置中以及如何在集群中发布服务和消费服务。

    727100发布于 2018-06-19
  • 来自专栏日常杂记

    关于集群小文件治理思路

    背景: 遇到集群小文件的问题大概是2018年那会,当时我维护一个600多台节点的cdh集群,当时文件数大概不到一个亿,具体多少已经记不清楚了。 集群的日增原始数据大概30TB,当时业务90%都是离线数据加工,绝大多数job都是mr,刚接管的时候现象就是集群资源基本使用满了,而job基本不会动,后来就进行各种排查,发现集群的rpc超时严重,再后来就是和业务协商怎样去降低集群的文件数 我在之前的博客里也有总结集群小文件处理的办法。 就是下面这篇文章。 关于较大hadoop集群小文件问题https://cloud.tencent.com/developer/article/1769788 今天我想说的呢是作为一个大数据运维,现在集群已经有很多小文件,那么我们怎样去处理

    85160发布于 2021-04-27
  • 来自专栏k8s技术圈

    Istio集群实践

    同样对多云、混合云、虚拟机等异构基础设施的服务治理也是 Istio 重点支持的场景之一,Istio 从 v1.0 版本开始支持一些集群功能,并在之后的版本中添加了新功能。 集群模型 Istio 集群网格有多种模型,在网络拓扑上分为扁平网络和非扁平网络,在控制面上分为单一控制平面和控制平面。 集群安装 在选择 Istio 集群模型时,当然需要结合自己的实际场景来决定。如果集群之间的网络是扁平的,那么可以选择扁平网络模型,如果集群之间的网络是隔离的,那么可以选择非扁平网络模型。 如果集群规模较小,那么可以选择单控制面模型,如果集群规模较大,那么可以选择控制面模型。 接下来我们这里选择跨网络主架构的模型来进行安装说明,即非扁平网络控制面模型。 集群应用测试 接下来我们可以部署一个简单的示例来验证下我们的集群服务网格是否安装成功了。

    1.4K10编辑于 2024-01-10
  • 来自专栏数商云网络

    微服务网站治理框架、集群全景

    ▲ 打造企业级的微服务网站治理框架 微服务作为应用开发技术的必然趋势,对业务系统进行细粒度拆分,降低了业务系统的复杂性,但是对企业技术架构提出了新的挑战。 方案描述 通过代码无侵入设计,开发人员只需专注于业务开发,通过简单配置即可将应用接入轻舟微服务平台,实现微服务治理能力。 方案描述 基于多年的服务治理经验,NSF集成并封装了多种服务治理能力,以应对微服务系统可能面临的各种异常及突发情况。 企业微服务集群全景 image.png ▲ 微服务平台核心优势 》无代码侵入,接入成本 ● 应用无需修改任何代码,即可接入 NSF 》基于开源,兼容开源 ● 兼容 Eureka、Zookeeper 注册中心 》容器平台NCS 容器平台是企业级容器Paas平台,提供集群管理、镜像管理、容器管理等功能。通过容器平台,为微服务平台提供运行环境。

    1.1K00发布于 2020-09-08
  • 来自专栏Technology Share

    大规模 codis 集群治理与实践

    ,在零运维的支持下如何高效治理众多业务集群? 最后,我们需要结合内部运营环境和需求做定制化改造,在零运维的支持下,通过技术手段,最大程度自动化治理、运营众多多业务集群,而Codis代码结构清晰,开发语言又是现在比较流行的Go,无论是运行性能、还是开发效率都较高效 Proxy:IDC部署,调度服务会根据IDC ID,自动打散相同proxy,尽量保证同一集群proxy部署在不同IDC,通过L5和CMLB进行容灾。 低负载优化 集群缩容和相同业务复用同集群 存储机实例部署,现在默认8个实例 通过Agent顺序触发个实例aof rewrite和rdb save,避免多个实例同时fork,从而提高存储机内存使用率至最高 80% Proxy机器实例部署(进行中) 3 .租户 小业务通过在key前缀增加业务标识,复用相同集群 大业务使用独立集群,独立机器 4.数据安全及备份 访问所有Redis实例都需要鉴权 Proxy

    7K55发布于 2017-11-01
  • 来自专栏运维小路

    DeepSeek-集群部署

    前面我们无论是直接部署,还是容器部署都还是单机的模型,受单机GPU限制,并不能跑比较大的模型,今天我们将用多台机器组成一个集群来跑一个更大的模型。 4.准备集群脚本 wget https://github.com/vllm-project/vllm/blob/main/examples/online_serving/run_cluster.sh 5 8.检查集群状态 #进入主节点容器 docker exec -it node bash 这里显示3个节点,总共6个GPU(下图是我只有5张卡的截图),显示以后就ray集群启动成功。 然后3台集群6张卡组成了一个小集群

    2.7K12编辑于 2025-03-06
  • 来自专栏idba

    有赞NSQ集群机房设计

    文 | 鲁林 on 基础保障 一、Overview 从有赞双机房开始到金融云架构,针对业务方在机房的应该部署以及消息发送订阅需求,需要 NSQ 针对双机房以及机房部署提供消息发送与订阅服务。 本文主要介绍了 NSQ 双机房以及机房设计以及经验总结。 二、场景和需求 下图是一个机房内基本的 NSQ 消息生产和消费的部署。一个机房内生产者往 NSQ 集群发消息,多个消费者订阅消息。 ? 五、双机房到机房 随着业务增长,NSQ 集群上topic数量以及读写流量日渐增加,同时为了满足更多的业务场景,公司机房再度增加。 migrate 的双机房方案的实现主要基于 NSQ 在两个集群间的迁移设计,而机房场景下,生产消费流量要求在多个集群之间路由。 针对新的机房集群需求,我们重新设计了 migrate 的数据结构,提出了一种保存 lookup 数据格式,以及一种 lookup 地址的 schema。

    2.3K20发布于 2019-07-17
  • 来自专栏腾讯云容器运维

    KubeSphere管理tke集群

    除此之外,平台已经整合并优化了多个适用于容器场景的功能模块,以完整的解决方案帮助企业轻松应对敏捷开发与自动化运维、微服务治理租户管理、工作负载和集群管理、服务与网络管理、应用编排与管理、镜像仓库管理和存储管理等业务场景 由于每个 Kubernetes 集群都是一个相对独立的单元,上游社区正在艰难地研究和开发集群管理解决方案。 KubeSphere的集群管理架构如下,只能有一个 H 集群存在,而多个 M 集群可以同时存在。在集群架构中,H 集群和 M 集群之间的网络可以直接连接,或者通过代理连接。 因此,您首先需要在Host 集群中执行以下命令来获取它,后面再配置member集群需要用到。 KubeSphere控制台添加member集群 我们登录host集群的KubeSphere控制台,根据日志提供的登录账号密码登录,会显示有一个默认的host集群 image.png 点击添加集群,并填写集群的相关信息

    1.3K10发布于 2021-08-08
  • 来自专栏mazhen.tech

    使用kubectl管理集群

    context是访问一个kubernetes集群所需要的参数集合。 每个context有三个参数: cluster:要访问的集群信息 namespace:用户工作的namespace,缺省值为default user:连接集群的认证用户 缺省情况下,kubectl会使用 current-context指定的context作为当前的工作集群环境。 在不了解context的概念之前,想访问不同的集群,每次都要把集群对应的config文件copy到$HOME/.kube目录下,同时要记得使用kubectl cluster-info确认当前访问的集群: 看吧,kubectl切换context管理集群是多么的方便。

    57310编辑于 2023-11-24
  • 来自专栏CS实验室

    Kubernetes 集群管理:Kubefed

    Kubernetes 集群管理:Kubefed Kubefed(Federation v2)即 Kubernetes 联邦,是目前社区正在难产的集群解决方案,目前的版本是 0.1.0,如果考虑到 至于被废弃的原因是因为开发团队认为集群联邦的实践比想象中还要困难,有许多问题是 v1 架构没被考虑进去的,比如: 控制平面组件会因为发生问题,而影响整体集群效率。 Controller Manager 协调不同集群之间的状态,通过与成员集群的 Api Server 通讯,来统筹管理所有的 Kubernetes 成员集群。 本来资源设计的就非常不灵活,加之 RBAC 的支持问题,使得无法做到集群资源的权限管理,因而流产,并为 v2 积累了宝贵的教训。 kubefedctl join 使得成员集群加入到主集群(Host Cluster) Member Cluster:通过 KubeFed API 注册为成员并受 KubeFed 管理的集群,主集群(Host

    1.8K10发布于 2021-03-22
  • 来自专栏Tensorbytes

    关于kubeconfig集群切换

    集群的切换是K8s运维中比不可少的问题,常见的基于多个集群进行切换的方法有三种: 切换config文件 通过context进行集群切换 用kubectl-plugins进行集群切换 切换config文件 - name: "212785087522004927" user: client-certificate-data: client-key-data: 通过export更改默认集群配置 通过context进行集群切换 把要切换的所有config文件添加到KUBECONFIG环境变量中 $ export KUBECONFIG=$HOME/.kube/config:$HOME/.kube : # 切换stage集群 $ kubectl config use-context stage Switched to context "stage". 通过kubectl-plugins切换集群 针对不方便查看我们可以永kubectl-plugins来解决。kubectl-plugins 是一个对kubectl的增强插件。

    3K20发布于 2020-08-17
  • 来自专栏LINUX开源玩家

    pve集群使用网段

    我们安装PVE创建集群的时候,默认情况下都是使用一个IP地址段,实际上PVE集群的底层支撑corosync支持多个网段,在网络本身不稳定或者一个网络意外中断的情况下,继续判断和维持集群状态。 直接拷贝,如 root@node011:~# scp /etc/corosync/corosync.conf node012:/etc/corosync/corosync.conf 之后逐个节点重启集群服务 pvedaemon.service # systemctl start pvestatd.service 如果觉得命令麻烦,可以图形界面操作 最后就这样 corosync是一个有多年历史的优秀的集群管理套件 ,Linux下面配置集群的朋友熟悉的pcs套件就是基于corosync的。

    3.3K20编辑于 2022-05-20
  • 来自专栏CNCF

    Kubernetes集群管理之路

    本文主要讲述了一些对于Kubernetes集群管理的思考,包括为什么需要集群集群的优势以及现有的一些基于Kubernetes衍生出的集群管理架构。 相反,可能更多的还是会选择部署多个集群。对于集群的使用场景而言,如何对这些集群进行统一的管理,则是集群联邦(Federation)架构产生的原因。 1.1 为什么需要集群? 1.2 集群联邦概念 Kubernetes在设计之初并非是为了集群的场景,而面对集群分布式的使用需求,社区从v1.3版本开始着手设计,集群联邦的概念也应运而生。 无需修改即可创建集群应用。 lPropagation Policy:分发策略。可重用的应用集群调度策略。 lResource Binding:通用类型,驱动内部流程。 05 总结 本文介绍了Kubernetes集群管理发展的,主要包括以下几个部分内容: l第一部分,介绍了Kubernetes集群联邦的基础知识,包括为什么需要集群集群联邦的概念和演进过程; l第二部分

    2.4K21编辑于 2022-11-28
  • 来自专栏用户9379187的专栏

    Cilium 集群 ClusterMesh 介绍

    Cluster Mesh 是 Cilium 的集群实现,可以帮助 Cilium 实现跨数据中心、跨 VPC 的 Kubernetes 集群管理,ClusterMesh 主要有以下功能: 1.通过隧道或直接路由的方式 来自多个集群的状态永远不会在本集群的 etcd 中混淆。 每个集群通过一组 etcd 代理暴露自己的 etcd,在其他集群中运行的 Cilium agent 连接到 etcd 代理以监视更改。 Cilium 使用 clustermesh-apiserver Pod 来建立集群的互联,在 clustermesh-apiserver Pod 中有两个容器:其中 apiserver 容器负责将集群的相关信息写入 从一个集群到另一个集群的访问始终是只读的。这确保了故障域保持不变,即一个集群中的故障永远不会传播到其他集群。 为了方便实验,本文使用 Kind 来搭建 Kubernetes 集群环境。 3.2 环境要求 1.必须为所有 Kubernetes 的工作节点分配唯一的 IP 地址,并且节点之间 IP 路由可达。

    55530编辑于 2022-05-12
  • 来自专栏冰河技术

    Dubbo服务治理篇——如何实现Dubbo服务的集群

    集群的目的:实现高可用,容错功能,集群的服务器不要放在一台物理机,要分散节点,才能实现高可用,高容错性能,一台提供者挂了,还有其他提供者,保证系统正常、稳定运行。 Last login: Tue May 16 23:42:54 2017 from 192.168.1.100 [root@binghe02 ~]# 二、Dubbo服务集群 用户服务:pay-service-user /service-trade.sh start === start pay-service-trade [root@binghe01 trade]# 三、Dubbo服务容错配置-集群容错模式 标签: io.binghe.account.service.AccountTransactionFacade" id="accountTransactionFacade" check="false" /> 属性:cluster 类型:string 是否必填:可选 缺省值:failover 作用:性能调优 集群方式

    58210发布于 2020-10-29
  • 来自专栏clickhouse集群双实例测试

    clickhouse集群,双实例副本

    4台机器,clickhouse集群搭建了双副本双实例,查询统计多次出现不同数据结果,具体如下 :出正常数据结果客户端查询按9000和9100分开,对应端口查询分布式表的结果应该只有一种数据,但结果却出现 </node></zookeeper><macros> <shard>02</shard> <replica>rep_2_1</replica></macros></yandex>2、集群查询结果如下 FROM db_test_S2RAB.TEST_0A; --分布式表SELECT COUNT(1) FROM db_test_S2RAB.TEST_0A_LOCAL;--本地表4、问题来了:在集群任意某一个节点

    1K40编辑于 2023-09-06
领券