在云计算逐渐成为传统行业 IT 基础架构的选择时,应用向云原生迁移成为企业数字化转型的利器,利用 Docker、Kubernetes 、Service Mesh等项目构建私有云或混合云的云原生平台正在成为业界的主流选择 容器云平台 ? 作为云原生架构的重要载体,容器的易用性和可用性需要得到足够的保障,原生的 Kubernetes 虽然可以做到生产级别的业务保障,但作为一个业务平台来使用还是显得太单薄。 使用公有云产品的另一个好处是,伴随着行业的迅速发展,各种云原生理念正在快速落地,各大厂商都在加快 Service mesh、Serverless 等热门技术产品化,用户投入少量的成本,既可以得到可靠、好用的业务管理平台 私有云容器平台 对于不能在公有云部署服务的企业,在做架构容器化转型时会考虑使用私有云容器平台。 使用 Service Mesh 等云原生技术也可以方便地将混合云容器平台管理的服务打通,在保证安全的同时提供混合云场景下服务级别的通信与治理能力,将混合云容器平台打造成一个真正的云原生平台。
本文主要分享了 VContainer 云原生相关基础组件的自动化实践,从半工具化人工维护,到白屏化流程的实践和落地。 借助 RKE,Kubernetes 可以完全独立于您正在运行的操作系统和平台,轻松实现 Kubernetes 的自动化运维。和其他云原生项目一样,rke 也使用 golang 开发,是一个命令行工具。 架构设计 按照设计思路,如下是我们自动化设计的简单架构图,AutoRke 自动化平台是我们建设的目标,底层操作 k8s、calico 和 docker 等云原生基础组件的变更,上层对接 vivo 基础平台完成同步数据和流程控制等功能 云原生基础:Autorke 自动化平台管理的目标对象:k8s、calico、docker。在物理机上安装配置 docker 环境,使用 docker api 接口部署和管理 k8s 组件。 定制化解决最初我们使用 rke 过程,出现的不符合我们预期的场景,同时,深入调研 rke 原理为白屏化提供技术基础。白屏化阶段实现变更云原生组件平台化,制定标准流程,降低变更门槛和风险。
yuhuliu,腾讯研发工程师,关注存储、大数据、云原生领域。 摘要 医疗资讯业务在高速发展过程中,形成了覆盖不同场景、不同用户、不同渠道的几十个业务,以及上千个服务。 为了高效满足用户多样化的需求,腾讯医疗技术团队通过 TKE 上云,使用 Coding DevOps 平台,以及云上可观测技术,来提升研发效率、降低运营运维成本。 随着公司自研上云项目推进,拥抱云原生化,基于 K8s 来满足业务对不同资源多样化需求和弹性调度,基于现有成熟 devops 平台来进行敏捷迭代,越来越成为业务正确的选择。 Devops stage3: 在上云过程中,也通过和质量同学逐步完善,将开发过程中原有人工操作的步骤 pipeline 化,来提高迭代效率,规范开发流程;通过单测和自动化拨测,提升服务稳定性。 往期精选推荐 2021 腾讯数字生态大会【云原生专场】重磅来袭 10月容器产品技术月报|2021 腾讯数字生态大会【云原生专场】重磅来袭 浅谈镜像加密在容器安全上的落地 打造云原生大型分布式监控系统
作者 | 段苏隆 周巍 沙烈宝 李银鹰 本文描述了安信证券服务化平台实践之路,包括对微服务、容器和云原生等技术的理解、业务系统研发过程中面临的实际问题、服务化平台路线规划、解决方案和实践案例,最后展望平台的未来发展方向 后期规划 目前投资秀系统已经完成服务化改造,根据业务边界进行了业务拆分,并已将部分服务迁移至容器云平台,前期以虚拟机与容器并行的方式,保持系统平稳过渡;后期对新业务功能需求直接以云原生架构方式进行建设 统一技术栈打造云原生快速开发平台 云原生技术生态发展迅速,涉及的概念和可选技术栈庞大,对于传统金融企业,如何打造适合自身的企业级落地的云原生基础设施,是一件有技术难度的事情。 通过将云原生基础能力项标准化,以代码模板的方式固化到脚手架中,实现了所有新建项目的框架统一、配置统一和构建及部署方式统一;通过插件化设计,实现管理平面与业务平面有效分离,平台功能与业务功能升级互不影响。 基础设施平台化赋能业务系统 服务化平台实现服务治理、运行指标、链路追踪、告警规则等一体化管理,结合配置中心、容器云平台、DevOps 流水线,组成云原生基础设施平台,已成为重要的 IT 基础依赖。
今天简单给大家介绍下API接口可视化编排平台。我在原来介绍我们API能力开放平台产品的时候谈到过API可视化编排。这个模块本身也是完整解决方面的一个部分。 API接口可视化编排平台 在今年年初,我们正式启动了内部研发立项,将API可视化编排平台剥离出来形成一个独立的产品。所以在这里要先回答清楚两个问题。 其一:为何需要研发为一个独立产品? 而API快速开发和可视化编排平台刚好可以解决这个问题。通过平台还可以将通用性的工作沉淀成可以复用的能力,这些能力就是可参考的经验库、通用的组件和平台以及可自动化的过程。 API接口可视化编排平台核心能力 远行API编排平台整体架构完全符合云原生架构标准。 对于这些需求都可以通过平台可视化编排完成。 通过平台提供的各种可视化编排组件可以快速完成一个API接口的开发和发布。
中台思考 平台化思考是一种解决问题的方法论,它强调将共性的、可复用的功能抽象出来,形成平台或组件,以便在不同的场景和问题中重复使用。这种方法能够显著提高解决问题的效率和质量。 平台化思考解决方案: 统一日志格式:构建日志平台,定义统一的日志格式和标准,确保所有系统产生的日志都遵循这一标准。 集中存储:通过日志收集工具,将分散在各个系统的日志集中存储到日志平台中。 平台化思考解决方案: 作业封装:将每个作业封装成独立的API服务或任务,定义统一的接口和参数。 调度管理:构建作业调度平台,通过定时器或触发器自动调度和执行作业。 平台化思考解决方案: 统一认证:构建认证平台,提供统一的认证服务,确保所有系统都通过这一平台进行用户身份验证。 授权管理:定义授权策略和规范,通过平台对用户的访问请求进行授权判断和控制。 通过平台化思考,我们可以将共性的、可复用的功能抽象成平台或组件,从而更加高效、准确地解决具体问题。这种方法不仅提高了解决问题的效率和质量,还降低了维护成本和风险。
对于资源的多样化需求和弹性扩缩容也需要快速响应,而随着公司自研上云项目的推进,设备的稳定性和多样性可提供更多选择,来满足像朋友圈、视频号、广告、公众号等转码业务快速、稳定、抗突发的资源需求。 而随着公司自研上云项目的推进和 TKE 容器化,转码平台需要能快速对接 TKE 资源,利用公司海量计算资源来满足业务对视频转码的诉求。 成果小结 目前转码平台从分散小集群合并的三地大集群,运营能力的提升+资源利用率提升,正在努力提升云原生成熟度,截止到2021年5月: 业务累计接入微信朋友圈、视频号、c2c、公众号、看一看、广告、QQ 往期精选推荐 北上深3城 | 腾讯云3天搞定企业容器化改造实战营精彩回顾 腾讯云&信通院国内首发《降本之源-云原生成本管理白皮书》 腾讯云发布了一个操作系统,能管理1亿核CPU 用户案例 | 腾讯医疗资讯平台云原生容器化之路 如何接入 K8s 持久化存储?
随着技术和市场的不断变化,未来云计算服务还将不断地向更高层次的抽象和自动化发展。 自建 Serverless 的意义与困境 建设私有化的云原生 Serverless 平台具有重要的意义和必要性。 首先,相比于公共云平台,私有化的云原生 Serverless 平台可以更好地满足企业的特定需求,保障数据的安全性和隐私性,同时也能够更好地管理和控制计算资源的分配和利用。 因此,建设私有化的云原生Serverless平台需要企业在技术、资源、人才和经济等多方面进行全面的规划和考虑,确保平台的稳定性和可持续性。 Rainbond 作为一个开源的云原生应用管理平台,能够帮助企业应对建设私有化的云原生 Serverless 平台的难点。 写在最后 通过借助 Rainbond 建设私有化的云原生 Serverless 平台,企业能够更好地应对技术难点,提高平台的稳定性和可持续性。
它可供公有云和私有云使用,为多种编程语言提供了可扩展性、敏捷性和支持。总的来说Paas能够让应用交付标准化、规范化和简单化。 那么,融合云平台与云原生应用又有什么样的关系? 简单的说,云原生应用是在云环境下规模化运行,可以在云平台上进行开发;可以部署到不同的云环境以及提供各种软件堆栈,由此来实现这种快捷、安全以及可靠,费用成本的降低,这些方面实际上就是融合云平台的目标,所以融合云平台实现的目标与云原生架构实现的目标是一致的 云原生应用的需求 云原生应用在云计算环境下规模化运行 在云平台上进行开发 可以部署到不同的云环境 提供支撑性软件堆栈 云原生架构实现业务的用户驱动的创新 支持和用户更容易更紧密的交互,更有效地驱动业务的增长 云原生架构催生平台技术的融合满足多元需求 云原生造就一种不断变化的软件架构,让其支撑的业务能够维持市场竞争力 云原生应用程序遵循标准化的部署和运维 构建微服务(离散的应用程序服务) 基于容器,每个微服务在自己的容器中运行 我们在云平台设计当中是怎么考虑这些,或者说我们要设计云原生应用当中要考虑哪些方面? 原生应用(应用的云化)设计原则 我们在云平台服务架构的设计中,以下四点是比较重要的。
另外,随着公司云原生化进程的推进,越来越多的应用从物理机迁移到容器平台,这进一步增加了对文件存储和多节点共享访问数据的需求。 因此,小米存储团队自 2021 年开始启动了文件存储项目,基于 JuiceFS 构建了一个文件存储平台化产品,并通过 CSI Driver 组件提供了云原生存储的能力,以满足上述各种业务场景对文件存储的需求 混合云场景:小米作为全球化企业,业务遍布全球多个国家,在海外多个区域都会有文件存储相关的业务需求,我们需要满足私有云+公有云一体的文件存储架构。 我们预期中的存储平台需要具备如下特性: 功能丰富,拥有完善的存储功能,支持 POSIX 等多种访问协议,同时具备易用性,面向云原生平台设计。 基于这些产品能力及云原生 CSI Driver 的功能,我们已经对接了小米容器平台及机器学习 PaaS 平台,业务根据需要选择不同的集群与存储类型使用我们的 JuiceFS 文件存储服务。
关于Kubernetes Kubernetes 是开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。 Kubernetes 是目前最流行的基础设施平台,大量的实践证明,Kubernetes 很适合作为企业内部运维大规模分布式系统的平台。 我们团队也推荐 Kubernetes 作为运行 FATE 联邦学习集群生产环境的平台。KubeFATE 提供了在 Kubernetes 部署运维 FATE 的解决方案。 KubeFATE 主要由 VMware 中国研发中心云原生实验室、微众银行、社区用户共同参与开源贡献。 容器化部署应用解决了很多部署问题,还大大提高了研发运维效率,容器化部署将是未来服务运维的重要方式。
云计算时代的兴起以虚拟化技术为基础,软件定义基础设施变得炙手可热起来。运维人员通过建设并维护一套 IaaS 云平台,将计算资源进行池化。 从这个方面来说,通过对三款开源云原生平台的体验,发现 Rancher 和 KubeSphere 虽说均可以基于图形化界面来部署自己的业务组件,然而这些图形化配置只是 yaml 声明式配置文件的 “翻译” 所以在这种简单存储场景下,开发人员最好可以仅仅填写一下自己需要被持久化的目录地址,由云原生平台来实现底层存储的配置。对存储基础设施的操作,开发人员并不需要关心。 云原生平台本身作为开发人员的基础设施,也需要被持续的维护。如何优化运维人员的管理体验,也是在云原生平台设计过程中的重点。 所以云原生平台在面向运维人员的设计中,不必要在易用性或图形化上考虑过多,更多要考虑的是可靠性、安全性、底层基础设施生态的兼容性。图片Rancher 在运维层面的表现非常出众。
在前面谈云原生技术解决方案和PaaS平台的时候,更多都是从技术平台层面进行阐述,如果真在要转变为面向多租户的PaaS服务平台,那么就需要一个完整的底层对象模型支撑。 一个应用本身有可以分解为多个微服务模块,实际上在云原生PaaS平台下,最终进行持续集成,部署交付的都是微服务模块。每个微服务都独立进行构建和部署交付。多个微服务模块构成一个完整的大应用系统。 PaaS平台多租户模型 上图为Gartner的多租户参考架构 在私有云和公用云环境对多租户的理解上是有不同的概念的。 在公用云环境往往我们谈的是saas的多租户,租户往往为使用业务系统的一个企业或组织,而在私有云环境,paas平台提供的应用往往为平台级应用,平台级应用面对的租户是业务系统本身。 独立数据库模式为每个租户分配一个独立的数据库;扩展表模式将租户的数据保存在扩展表(竖表)中,通过表记录扩展租户的配置信息;大表模式采用大表(横表)保存租户信息,租户的个性化信息保存在大表的保留字段中。
: ---- 前言:12月19日,在 Cloud Native Days China -云原生AI大数据专场,腾讯技术事业群高级工程师薛磊发表了《云原生AI平台的加速与实践》主题演讲。 ? 演讲主要包含五部分的内容: Kubernetes介绍 AI离线计算 AI场景下Kubernetes的不足 Kubeflow 星辰算力平台的架构 Kubernetes介绍 K8s是生产级的容器编排系统,它也是云原生应用最佳的一个平台 支持所有流行语言,如 Python、C++、Java、R和Go 可以在多种平台上工作,甚至是移动平台和分布式平台 2)PyTorch PyTorch是一个开源的Python机器学习库,基于Torch, 提供TensorFlow原生PS-worker架构 的多机训练 推荐将PS和worker一起启动 通过service做服务发现 在社区中最早期的Operator 星辰算力平台的架构 它为私有云的一个离线计算平台 流程图 通过Virtual-Kubelet将多个地域的Kubernetes集群联邦到一个集群,作为虚拟节点 底层集群支持批量调度 依托于tkestack的vcuda技术支持GPU虚拟化 用户的管理controller
作者:黄鑫,英特尔云原生软件开发工程师 Meshery 是什么? Meshery[1],作为一个 CNCF 项目,是一个开源的云原生管理平台。 通过 Meshery,你可以掌控你的云原生环境。 除了基础功能,Meshery 还提供了一系列强大的工具,包括便捷的性能测试组件,各种项目的最佳实践模板,以及支持多人协作的 MeshMap 等等。 总结 本文深入地介绍了 Meshery 这一款强大的云原生管理平台,它以直观和高效的方式帮助用户管理和部署服务网格和工作负载。 总的来说,借助 Meshery,用户可以更轻松地掌握他们的云原生环境,并探索和扩展 Service Mesh 的可能性。 无论你是云原生技术的初学者,还是经验丰富的专家,Meshery 都将是你理想的工具,帮助你更好地发挥云原生技术的潜力!
在近日GDG举办的“AI 隐私保护:探索跨域数据的安全流动”活动中,VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟,分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据,但数据的现状并不理想,存在数据孤岛、数据分布不均的问题。 FATE (Federated AI Technology Enabler) 是托管在 Linux Foundation 的开源的,面向生产的联邦学习平台。 KubeFATE 是一个云原生联邦学习平台,具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目,是 Kubeflow 联邦学习方案。 ://github.com/FederatedAI/KubeFATE FATE-Operator:https://github.com/kubeflow/fate-operator ---- 要想了解云原生
云原生架构下的日志平台方案 作者简介 Ford, 云原生布道师,云原生实验室(CloudnativeLab.COM)创始人 专注于云计算领域数年,目前主要从事容器云平台的建设,推进各类基础设施服务的云原生化 一、云原生架构下的日志系统特点 伴随公司近年来持续高速增长的业务发展,以及软件架构的微服务化,在水平和垂直双向扩展后线上运行的应用成倍增长。 在公司转型云原生架构的过程中,复杂的动态集群环境下,可观测性(Observability)对于快速定位和诊断问题,已上升到公司整体层面了。 同时日志系统提供的也不再局限于应用系统的诊断,还包括业务、运营、BI、审计、安全等领域,日志平台最终的目标是实现公司在云原生架构下各个方面的数字化、智能化。 二、云原生架构下的日志系统设计 2.1 方案选型 云原生架构下的日志采集解决方案 编号 方案
作为一个全功能的平台即服务(PaaS), App Platform 解决了从开发到 Kubernetes 支持的高度可扩展和弹性的云原生部署的操作方面的问题,同时保持了尽可能简单的用户体验。 应用类型检测、构建和运行由云原生构建包 Cloud Native Buildpacks 处理(最近成为了 CNCF 孵化器项目,祝贺!?)。 Cloud Native Buildpacks 致力于标准化构建应用的抽象生命周期和契约。在高层次上,它将这个过程分为 4 个阶段: Detection:它决定应用什么构建包。 流量 App Platform 的容器化运行时将客户推向高度可伸缩性和高可用性的模式。容器的水平扩展在运行时端做了大量的工作来实现这一点。 总结 应用平台将所有这些技术结合在一起,消除了大多数应用程序无法达到的复杂性和运营投资,以最小的用户努力提供了一流的云原生平台。应用平台是建立在巨人的肩膀上。
7月17日,在Cloud Native Days China云原生多云多集群专场,华为云原生开源负责人王泽锋发表了《Karmada: 云原生多云容器编排平台》主题演讲,分享了在云原生多云多集群方面的思考与实践 以下为演讲全文 根据最新的调查报告显示,超过93%的企业正同时使用多个云厂商的服务。云原生技术和云市场不断成熟,多云、多集群部署已经成为常态,未来将是编程式多云管理服务的时代。 ? 现阶段,云原生多云多集群业务的编排也面临着诸多挑战: 1)集群繁多的重复劳动:运维工程师需要应对繁琐的集群配置、不同云厂商集群间的管理差异以及碎片化的API访问入口等问题; 2)业务过度分散的维护难题: 4)厂商绑定:业务部署的黏性问题,缺少自动化故障迁移;缺少中立的开源多云容器编排项目。 多集群容器编排的前世今生 ? Karmada:开源的云原生多云容器编排平台 ? ,让用户可以结合企业实际情况自由定制适合自身的多云平台。
OpenObserve 是一个 Rust 开发的开源的高性能云原生可观测平台(日志、指标、追踪),比起 Elasticsearch 它大约可以节省 140 倍的存储成本,OpenObserve 能够处理 然后在 PVC 模板中指定一个可用的 StorageClass,用于持久化存储数据。