摘自 Kubernetes 实践指南需求与背景Kubernetes 默认不支持原地升级,使用腾讯云容器服务也一样,也没有集成相关插件来支持,可以安装开源的 openkruise 来实现,本文介绍如何在腾讯云容器服务上利用 sts.yamlapiVersion: apps.kruise.io/v1beta1kind: StatefulSetmetadata: name: samplespec: replicas: 3
腾讯云原生 TKE 团队 【校招生】招募中! 团队介绍 腾讯云原生TKE是一款基于 Kubernetes 构建的高度可扩展的高性能容器管理服务,是腾讯集团对内和对外统一的云原生技术底座,实现了云上云下、任意位置、任意类型资源的统一管理,运行了数千万核心规模的业务 TKE 团队独创了“原生节点”和“超级节点”产品形态、推出云上首个在离线混部产品化方案,开创了 FinOps 与云原生结合的模式,最早落地了 K8s on K8s 架构,稳定支撑了公司内外数万个 Kubernetes 加入我们,你将深入参与到腾讯云原生产品建设,服务微信、QQ、腾讯会议、王者荣耀、小红书、富途、微众等重点业务,构建稳定、高性能、低成本的TKE平台,让你的每一分技术都创造切实的价值! 汇聚腾讯云原生技术 云说新品、云研新术、云赏资讯 x
用户可通过 TKE 发行版集群将云下业务扩展到云上,利用腾讯云 TKE、EKS 等云服务弹性能力,为业务提供强大的资源保障。 对于有实用价值 KEP 会先于社区支持,让用户提前享受到云原生技术进步。 Linux 操作系统,专门针对容器场景提供了原生优先级支持及资源隔离增强,包括 CPU、内存、磁盘 IO 和网络 IO 等。 TKE 发行版修复了该问题,提交社区 PR:【https://github.com/kubernetes/kubernetes/pull/72914】 3. 3.
林顺利,腾讯云原生产品经理,负责分布式云产品迭代和注册节点客户扩展,专注于云原生混合云新形态的推广实践。 但是当下,我们面临的是云原生的新场景而非单纯的上云,因此,我们基于传统混合云的解决方案进一步深入思考,首创出 IDC 轻量级云原生解决方案 - 注册节点 :IDC 节点和 TKE 打通,云上作为管控面来提供管理 注册节点,IDC 轻量级云原生最佳路径 TKE 注册节点是针对混合云部署场景,全新升级的节点产品形态,解决了企业在 IDC 运维过程中面临的各类问题: 资源利旧和利用率提升 充分利用 IDC 资源,并通过 总结 腾讯云 TKE 中提供了 3 种节点运维的新范式: 声明式节点运维-原生节点; 有节点的 Serverless – 超级节点; IDC 轻量上云–注册节点; 3 种节点类型分别面向客户不同的业务场景 ,TKE 实现了一个集群中同时纳管这 3 种节点新范式和 TKE 普通节点的统一管理、调度方案。
在系列文章(1)中,实现了用云原生监控采集TKE集群中节点上守护进程的监控指标。接下来,进一步描述下如何用云原生监控来采集TKE集群外组件的监控指标,比如Kong。 前提:网络互通 采集方案 image.png 1 云原生监控支持的监控配置入口有三个:ServiceMonitors、PodMonitors、RawJobs,其中ServiceMonitors是已k8s subsets: - addresses: - ip: 192.0.2.42 ports: - port: 8001 name: http 2 在云原生监控控制台上创建
构建分层精准的云原生技术方案 腾讯云TKE提供三种核心资源模式,形成完整技术支柱: 云函数(SCF):实现毫秒级热启动(20ms)与秒级冷启动(10s),按实际代码运行时长计费,实现“自来水式”付费。 超级节点:提供虚拟机级强隔离,冷启动速度3-5s(热启动)至80-120s(冷启动),支持3000个Pod/分钟的并发扩容。 原生节点:深度融合腾讯自研内核增强与FinOps能力,支持CPU Burst、内存压缩等优化技术。 实现资源利用率与成本的结构性优化 通过FinOps框架与系列优化技术,TKE助力客户实现资源效能的显著提升: 某客户集群通过CPU Burst和动态内存压缩技术,在处理93核(分配率51%,利用率2%) 腾讯云TKE的技术领先性与客户验证 TKE集成了腾讯自研的TencentOS RUE资源隔离技术,确保在线与离线业务混部的稳定性。
在TKE集群中,有些组件是以daemonSet或者二进制的方式运行在集群中的节点上,作为了节点上的守护进程。对于这类组件的监控采集,也是支持接入到TKE的云原生监控中。 云原生监控 云原生监控的数据采集配置支持了三个配置入口:ServiceMonitor、PodMonitor、RawJob,其中ServiceMonitor、PodMonitor属于promethues 本文描述的Docker Daemon的监控采集也主要是基于云原生监控的RawJob配置入口来实现。 采集方案 [image2021-2-25_14-34-49.png] 1 通过新增RawJob配置,应用到云原生监控,来采集TKE集群中节点上的docker daemon的监控。 2 云原生监控通过k8s服务发现配置(kubernetes_sd_config)自动从TKE集群同步所有的node实例,并作为当前RawJob的target实例。
以下通过视频方式来分别介绍“搭建wordPress”、“腾讯云TKE容器创建Nginx”和“手工搭建Hello world 服务”,因为很多细节不能整理入博客建议视频方式学习,并同步以下讲义进行学习的回顾与操作 搭建wordPress:https://www.bilibili.com/video/BV1AK411M7TR 腾讯云TKE容器创建Nginx:https://www.bilibili.com/video 腾讯云TKE容器创建Nginx 在使用容器前首先要创建集群,并购买cvm服务器资源。 可容纳主机) 4096 - 32 (集群内Server数量上限) = 4064 每个pod上限4096 / 64 = 63 (63.5) 2.购买服务器 确认好Master节点和购买服务器的计费模式 3. 查看构建结果 docker images 上传镜像到腾讯云镜像仓库,先打标签。
数据来源: 2024 腾讯全球数字生态大会 (Tencent Global Digital Ecosystem Summit) 主讲人: 何鹏飞 一、 产品定位与核心亮点 TKE AppFabric 是腾讯云推出的全生命周期高可用的云原生应用平台 二、 产品应用场景 针对当前云原生应用管理中的核心瓶颈,TKE AppFabric 主要服务于以下业务场景: 多集群容灾与资源调度场景 痛点: 应用创建时难以控制资源在不同物理位置的分布比例,不满足容灾要求 低门槛使用: 仅需学习应用如何编排,使用门槛低;声明式编排符合云原生规范。 应用视角管理: 更接近应用维护场景,易于观测、运营,管理性更强。 5. 荣誉背书 文中未提及具体奖项或第三方认证信息。 成效: 实现了基于多可用区(zone1/2/3)的应用高可用架构支撑。 案例二:云腾讯云 CLS (日志服务) 背景: 饱受资源短缺困扰:单集群资源不足,需动态调整部署集群和资源副本量。 成效: 解决了资源短缺与拓扑不可控问题,实现了跨3个可用区的高可用容灾部署与精细化流量管理。 五、 产品路线图 (Roadmap) 2024 Q1-Q3: 内部打磨,服务腾讯内部自研上云。
3 本节内容本节内容做为多租户系列方案的第一篇,会介绍如何采用腾讯云的TKE容器集群和云原生Kong网关实现多租户的应用架构。关于多租户方案的其他部分会在后续章节中介绍。 腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景 5.1 基于服务的网关多租户方案云原生Kong网关中的网关服务可以直接关联后端TKE集群上的服务,并配置路由策略,配置后从Kong网关的管理台可以看到后端TKE容器集群上的服务列表,如下图:图片该方案适用于上一章节中基于容器命名空间的隔离 在云原生Kong网关中创建一组网关服务,分别关联后端TKE容器集群上不同租户的服务。与之前章节中相同。2. 在云原生Kong网关中启用“JWT“插件,可以在Global、服务或者路由级别。 图片6 小结在本章节中,我们介绍基于腾讯云TKE容器集群和云原生Kong网关实现的多租户架构方案,适用于云原生的微服务容器化的多租户应用。后续我们会持续介绍更多的多租户方案。
腾讯云 TKE Mesh 在 Kubecon-CloudNativecon China 2019 上对外发布, 以下是同场活动中「Application Level Networking」的现场demo 这时候网格里的服务还无法被外网访问到, 我们还需要对网格边缘流量进行配置. 2.4 创建 ingress gateway Istio 使用 Gateway 定义网格边缘的流量行为, 对比原生的k8s ingress LB, TKE Mesh Gateway对这些组件进行和整合, 用户只需要配置Gateway的基本流控规则, TKE Mesh会自动实现相关的service, proxy pod 以及腾讯云LB的配置. 现在可以访问mall首页验证应用正常运行, 大家都是访问base 基准环境. ---- 3. 通过查分析以上全链路, 我们可以发现以下问题: mall 服务调用users, recommend, discount服务时, 时间线是串行, 耗时是3个调用累加.
1 Nexus3 简介 Nexus3 是一个统一的仓库系统,常见的有诸如apt、docker、maven2、npm、pypi、yum等repositories。 而Nexus3 就是这么一个平台,可以统一管理repositories仓库。这里文章介绍如何在k8s环境部署Nexus3,并快速使用,作为docker images 私有仓库。 2 K8s部署Nexus3 nexus-nm.yaml #创建namespace - nexus apiVersion: v1 kind: Namespace metadata: name: nexus 3 Nexus3使用 3.1 登陆 当我们首次登陆 nexus3.domain.com 的web界面的时候,需要输入admin的用户密码,这里需要通过查看nexus pods下面的/nexus-data 3.2 添加Docker repo 可以看到有个感叹号提醒,Nexus3建议至少使用4核CPU,这里使用2C,并无太大关系,如果有强迫症的同学可以增大CPU核数 >= 4C。
腾讯云TKE“无损业务”升级TKE节点的方法 原理 1. 设置TKE节点为不可调度,记TKE节点名为a; 2. 驱逐节点下的非DaemonSet类型的pod。 部分pod驱逐失败时,手工结束不能正常结束的pod; 3. 移除TKE节点a; 4. 重新将TKE节点a所在CVM加入TKE集群,TKE节点a的会被升级为TKE集群主节点大版本的最新release版本; 5. 依次将所有TKE节点执行步骤1至4,完成所有TKE节点的版本升级; 核心指令/界面操作 查看节点: kubectl get nodes 设置节点为不可调度 kubectl cordon <NodeName 节点 重新将TKE节点a所在CVM加入TKE集群 节点成功加入口,确认TKE节点版本已升级为最新
作者王涛,腾讯云高级工程师,从事云计算行业8年,拥有5年多容器研发经验,近两年主要负责腾讯自研业务上云的大规模云原生平台的研发设计工作。 这里我将为大家揭秘腾讯自研上云容器平台TKEx在支持腾讯会议全量云原生化上云背后的技术。 TKEx平台是以腾讯云容器服务(Tencent Kubernetes Engine, TKE)为底座,服务于腾讯自研业务的容器平台。腾讯自研业务类型众多、规模超大,云原生上云面临的挑战可想而知。 TKEx平台在腾讯自研业务上云的过程中沉淀的最佳实践和解决方案,我们将会在TKE中提供给客户。 经过多个方案的设计、分析、测试对比,考虑通用性、云原生、发布效率多个因素,最终使用如下方案: 快速升级 Pod里面有3个关键容器,它们的职责分别如下: biz-sidecar: Sidercar容器职责很简单
通过注册节点实现轻量化云原生转型 腾讯云TKE注册节点提供专线版和边缘版两种模式,将非腾讯云主机托管至TKE集群:用户提供计算资源,TKE负责全生命周期管理。 核心能力包括: 资源利旧与利用率提升:通过Request推荐、动态调度、节点超卖及qGPU算力隔离技术提升资源效率 节点托管运维:集成云原生监控、日志服务CLS、容器安全等能力,用户仅需维护本地服务器 腾讯会议混合云:边缘节点50个节点20分钟完成部署,成本从百万级降至十万以内级 典型客户实践验证方案有效性 PCG:将深圳、上海IDC机器接入同地域TKE集群,实现云上云下一致体验(运行时/K8s版本 ,适配多体系结构/多操作系统异构环境 腾讯云技术领先性与行业认可 TKE注册节点提供业界唯一的在离线混部能力和qGPU精细隔离技术,支持: 分钟级节点接入和声明式运维 云边隧道实现弱网可靠连接 异构节点统一管理 (x86/ARM/多种OS) 腾讯云内部大规模运营经验沉淀的自动巡检与故障自愈能力 该方案已获多家行业头部客户部署验证,成为企业实现IDC资源云原生转型的首选技术方案。
数据与观点来源: 2024腾讯全球数字生态大会(主讲人:何鹏飞) 一、 产品定位与核心亮点 TKE AppFabric 是一款全生命周期高可用的云原生应用平台,旨在为应用管理提供稳定底座与灵活引擎。 二、 产品应用场景 目标受众:面临跨集群部署与大规模云原生应用管理的研发与运维团队。 功能框架 TKE AppFabric 的底层架构分为两大核心模块:服务应用高可用与强大的多集群引擎。 2. 声明式应用编排能力: 提供纯粹的应用视角,易于日常观测与运营,完全符合云原生规范。 支持应用级的多可用区扩缩容、流量治理。 发布管控:支持变更分批、暂停、回滚,确保发布不影响线上服务。 荣誉背书与演进路线 内部打磨背书:2024 Q1-Q3 期间,该平台作为核心底座,成功服务于腾讯内部自研业务上云项目。
摘自 Kubernetes 实践指南概述本文介绍在腾讯云容器服务上如何安装 KubeSphere 及其踩坑与注意事项。 安装步骤具体安装步骤参考 KubeSphere 官方文档:在腾讯云 TKE 安装 KubeSphere。 踩坑与注意事项cbs 磁盘容量以 10Gi 为倍数腾讯云容器服务默认使用 CBS 云硬盘作为存储,容量只支持 10Gi 的倍数,如果定义 pvc 时指定的容量不是 10Gi 的倍数,就会挂盘失败。 kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_tke_cloud_tencent_com_pod_type notification-manager/master/config/bundle.yaml参考: https://kubesphere.com.cn/forum/d/7610-ks-330-ks-apiserver-crash/3
腾讯云TKE持久化存储 对于Kuberentes中,一些服务需要持久化的内容,我们一般都会使用一个共享的文件系统,类似与目前各个云厂商提供的对象存储服务,或文件系统服务,自建的话也有NFS、Ceph选择 随着Kubernetes不断的功能完善,国内云厂商也在不断的适配,腾讯云TKE目前支持StorageClass,这样一种动态的添加持久化存储。 示例:这里我就采用腾讯云TKE进行快速的持久化存储创建 1、首先创建StorageClass; sc.png 新建 sc-2.png 生成的yaml文件如下: apiVersion: storage.k8s.io "235169" selfLink: /apis/storage.k8s.io/v1/storageclasses/sc-jingwei uid: 43af2853-e5e2-4e47-86a3- 总结: 通过使用腾讯云TKE的存储服务,可以快速的创建的PVC,PV会根据PVC的需求对应创建,并自动增加云硬盘。
目前TKE使用PVC和PV创建CFS,只能选择当前VPC下的CFS实例。 storage: 10Gi storageClassName: "" volumeMode: Filesystem volumeName: pv-operationdata[root@tke-node
Pod----虚拟机 容器----进程 1、k8s相当于物理机的操作系统,k8s管理Pod相当于物理机的操作系统管理虚拟机 2、Pod相当于虚拟机,Pod里面可能包含多个容器,对应于虚拟机中的很多进程 3、 3、凡是Pod中的容器要共享宿主机的Namespace,也一定是Pod级别的。 3、Succeeded,这个状态意味着所有的容器都启动完毕,并且已经退出。 4、Failed,这个很好理解,就是Pod中的容器至少有一个以非0状态退出,也就是异常退出了。 5、Unknow。