- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
大数据平台如何进行云原生改造
此时，云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力，受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢？ 这个改造是不可避免的，基于原来 Hadoop 生态体系的大数据平台一定会迁移到云原生平台。 InfoQ：Twitter 什么时候开始做云原生大数据平台的？当时为什么要做？效果如何？ 所以，不能在云平台上跑的应用一定会被淘汰。 InfoQ：现在使用云原生大数据平台的主要是哪些类型的企业？企业数量有怎样的变化？ A：主要是互联网和大厂。现在的云原生大数据平台还不成熟。 其次，这些大数据组件的云原生成熟度还不是特别高。Spark 今年 3 月份才具有一般可用性 (General availability，GA) ，并发布了 3.1 版本。 所以，大数据平台的云原生改造不仅是组件，开发和管理形式也会发生很大的改变。 InfoQ：有没有传统大数据平台与云原生大数据平台的对比案例，可以详细介绍下？
72210编辑于 2022-03-22 云原生大数据平台：技术指南与腾讯云产品方案
摘要 本文旨在解析云原生大数据平台的核心价值、挑战，并提供基于腾讯云产品的操作指南和增强方案。云原生大数据平台以其卓越的性能和成本效益，成为企业数据仓库构建的首选。 技术解析 核心价值与典型场景 云原生大数据平台以其快速、灵活和可扩展的特性，成为现代企业处理大规模数据的首选。 3大关键挑战 性能瓶颈：在高并发和大数据量处理时，传统架构可能难以满足性能需求。 成本控制：数据存储和计算资源的按需付费模式需要精准控制，以避免不必要的成本浪费。 操作示例： # 使用WeData进行数据开发 wedata develop --job my_data_job 步骤3：数据导出与服务 将处理后的数据通过数据导出或API服务应用于业务。 通过本文的技术指南和解决方案推荐，企业可以更好地理解和应用云原生大数据平台，利用腾讯云产品实现数据仓库构建和数据资产治理的优化。
38210编辑于 2025-07-28云原生数据平台(cloudeon)--核心服务组件扩展
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 官方手册：https://www.yuque.com/aolingdata/product ✨AllData正式环境：http://43.138.156.44:5173/ui_moat 摘要：本文聚焦于云原生数据平台 Cloudeon），详细阐述了其核心服务组件的扩展情况，具体涵盖以下新增服务： • 添加ZooKeeper服务 • 添加HDFS服务 • 添加FIink服务 • 添加YARN服务 • 添加doris服务 云原生数据平台基于开源项目 CloudEon建设 基于开源项目CloudEon建设，简化kubernetes上大数据集群的运维管理，一款基于kubernetes的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案 CloudEon 将基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，您可减少对于底层资源的运维关注。
28510编辑于 2025-11-15- 来自专栏深度学习与python
传统大数据平台如何进行云原生化改造
那么，高速发展的云原生技术能不能解决传统大数据平台的问题呢？答案是肯定的。本文将从大数据平台产品云原生化的实践过程，阐述一下传统大数据平台迁移到 Kubernetes 上所要经过的技术改造过程。 ，而云原生大数据平台恰恰是解决这些问题的良药，简单的讲，就是云原生赋予了大数据平台原来没有的多种云化能力。 3 传统平台云原生化需要解决的 8 项技术难题 虽然大数据平台的云原生化已经是大势所趋，但在落地实践的过程中还是有一些技术难题需求攻克。 开发者可以基于这个项目部署一个实验的大数据集群，来体验云原生大数据平台。 4 结束语 这两年以来，我们在大数据平台云原生化这个方向做了大量尝试，实现了大数据组件在 K8s 的稳定运行以及统一的数据安全机制，使数据应用开发平台实现了完整的云原生化。
1.5K50编辑于 2023-03-29 - 来自专栏腾讯云原生团队
初探云原生私有化容器云平台
在云计算逐渐成为传统行业 IT 基础架构的选择时，应用向云原生迁移成为企业数字化转型的利器，利用 Docker、Kubernetes 、Service Mesh等项目构建私有云或混合云的云原生平台正在成为业界的主流选择 容器云平台 ? 作为云原生架构的重要载体，容器的易用性和可用性需要得到足够的保障，原生的 Kubernetes 虽然可以做到生产级别的业务保障，但作为一个业务平台来使用还是显得太单薄。 私有云部署在企业防火墙内，数据放置于本地数据中心，可以极大的保障安全性问题。银行、政企、金融这种对安全监管有要求的行业也会选择私有云容器平台来部署他们的服务。 使用 Service Mesh 等云原生技术也可以方便地将混合云容器平台管理的服务打通，在保证安全的同时提供混合云场景下服务级别的通信与治理能力，将混合云容器平台打造成一个真正的云原生平台。 CI/CD 工具，这在容器化的业务场景下为强需求，否则容器业务难以做到敏捷开发； 3.
9.4K41发布于 2020-02-14 - 来自专栏Rainbond开源「容器云平台」
如何建设私有云原生 Serverless 平台
随着云计算的普及，越来越多的企业开始将业务应用迁移到云上。然而，如何构建一套完整的云原生 Serverless 平台，依然是一个需要考虑的问题。 随着 PaaS 的出现，云计算提供商开始提供更高层次的服务，包括开发框架、数据库、消息队列等，用户只需要关注应用开发，无需关心底层设施。 首先，相比于公共云平台，私有化的云原生 Serverless 平台可以更好地满足企业的特定需求，保障数据的安全性和隐私性，同时也能够更好地管理和控制计算资源的分配和利用。 许多应用运维工作都将由平台来接管，包括定时数据备份、健康检测、故障自愈等。 可观测性中心 可扩展的全方位可观测性能力，提供上至应用组件，下至平台的监控视图。 Rainbond 作为一个开源的云原生应用管理平台，能够帮助企业应对建设私有化的云原生 Serverless 平台的难点。
14.1K30编辑于 2023-03-13 - 来自专栏沃趣科技
Rancher x QFusion RDS：云原生多数据库管理平台
云原生产品也显著降低了云计算的使用门槛，让企业和开发者更加聚焦业务创新。 近日，沃趣科技与业界应用最为广泛的Kubenetes管理平台Rancher达成战略合作，助力云原生时代发展。 Rancher开源社区用户可手动添加Rancher官方仓库，获得QFusion RDS云原生数据库的服务目录。 QFusion RDS&Rancher QFusion RDS是沃趣科技自主研发的一款专为中小规模数据库场景设计的云原生数据库管理平台。 率先打造企业级云原生数据库管理平台QFusion，为用户解决多种数据库的跨云部署、多云管理难题，助力客户稳步迈向多元混合的数据库新时代。 目前，沃趣科技已拥有行业领先的企业级数据库云平台，完整构建高性能、备份、容灾、交换、流转等数据库生态闭环，为解决跨云部署、多源异构数据流转等重点难题，开启了云原生数据库生态领域的全方位探索。
5.6K30发布于 2021-10-12 - 来自专栏云资讯小编的专栏
开放融合的云平台构建企业云原生应用
融合的云平台趋势和云原生需求 鲁为民首先介绍了融合云平台技术的需求。 云原生应用的设计 首先，从云原生应用平台的设计来看，怎么满足云原生应用的需求。 云原生应用的设计要求 最基本的要求是云原生应用“基础设施”和“数据”之间的分离，云应用可能有状态、必须持续地保存，很大程度上能够高可用。 数据持久化 需持久化的数据存放在 DB、NFS、或其它共享存储 日志保存至远程 实例发生迁移时，里面的文件不保留 实例定位 Container 与 IaaS 解耦，依赖域名或配置管理 状态管理 平台不提供状态保存管理 鲁为民还介绍了与腾讯云一起打造开放的云平台，使用腾讯云IaaS服务、网络、计算和存储与MopaaS对接，并整合了腾讯云服务产品，如移动、数据、通讯、视频、安全等服务接入MopaaS引擎。
3.3K00发布于 2017-06-09 - 来自专栏CNCF
云原生联邦学习平台 KubeFATE 原理详解
Kubernetes 是目前最流行的基础设施平台，大量的实践证明，Kubernetes 很适合作为企业内部运维大规模分布式系统的平台。 根据 Ovum 的统计，截至2019年底，一半的大数据负载都运行在 Kubernetes 之上。我们团队也推荐 Kubernetes 作为运行 FATE 联邦学习集群生产环境的平台。 KubeFATE 主要由 VMware 中国研发中心云原生实验室、微众银行、社区用户共同参与开源贡献。 生成job的元数据， 2.执行对应类型的cluster操作， 3.检查操作是否成功， 4.更新job的状态。 命令行和 API 主要有 list， delete， describe 三种操作。 v1.5.0 Revision 1 Age 9m3s
1.3K10发布于 2021-02-23 - 来自专栏云原生社区
云原生架构下的日志平台方案
云原生架构下的日志平台方案 作者简介 Ford, 云原生布道师，云原生实验室（CloudnativeLab.COM）创始人 专注于云计算领域数年，目前主要从事容器云平台的建设，推进各类基础设施服务的云原生化 同时日志系统提供的也不再局限于应用系统的诊断，还包括业务、运营、BI、审计、安全等领域，日志平台最终的目标是实现公司在云原生架构下各个方面的数字化、智能化。 2、资源消耗，在原有的传统ELK架构中，基于 JDK 的 Logstash 和 Filebeat 预期分别会消耗500M、12M左右的内存，在微服务、云原生的架构下，服务通常都会拆的很小，因此数据采集对于服务自身的资源消耗要尽可能的少 3、日志平台的运维代价，运维一套动态环境下的日志采集和日志管理平台是复杂和繁琐的，日志平台应该SaaS话，作为底层基础设施，可一键部署和动态适配。 二、云原生架构下的日志系统设计 2.1 方案选型 云原生架构下的日志采集解决方案 编号 方案
3K21发布于 2020-12-08 - 来自专栏CNCF
构建端到端云原生应用平台
作为一个全功能的平台即服务（PaaS）， App Platform 解决了从开发到 Kubernetes 支持的高度可扩展和弹性的云原生部署的操作方面的问题，同时保持了尽可能简单的用户体验。 提供这种服务意味着在世界各地的许多数据中心上运行许多集群。 应用类型检测、构建和运行由云原生构建包 Cloud Native Buildpacks 处理（最近成为了 CNCF 孵化器项目，祝贺！?）。 我们还用额外的元数据来扩展 buildpack 结果，比如检测到的语言/框架、我们认为支持的应用平台组件类型、推荐的构建/运行命令等。 总结 应用平台将所有这些技术结合在一起，消除了大多数应用程序无法达到的复杂性和运营投资，以最小的用户努力提供了一流的云原生平台。应用平台是建立在巨人的肩膀上。
1.3K40发布于 2021-04-21 - 来自专栏k8s技术圈
云原生可观测平台 OpenObserve 初体验
OpenObserve 是一个 Rust 开发的开源的高性能云原生可观测平台（日志、指标、追踪），比起 Elasticsearch 它大约可以节省 140 倍的存储成本，OpenObserve 能够处理 EBS 卷的成本为 8 美分/GB/月 (GP3)，s3 的成本为 2.3 美分/GB/月。在 Elasticsearch 的 HA 模式下，通常有 1 个主节点和 2 个副本。 无需复制 s3 来实现数据持久性/可用性，因为 AWS 会将你的对象冗余存储在 Amazon S3 区域中至少三个可用区 (AZ) 的多个设备上。 ；对象存储（例如 s3、minio、gcs 等等）存储 parquet 文件和文件列表索引的所有数据。 先使用下面命令下载示例日志数据： $ curl -L https://zinc-public-data.s3.us-west-2.amazonaws.com/zinc-enl/sample-k8s-logs
4K50编辑于 2023-08-21 - 来自专栏伪架构师
Karmada: 云原生多云容器编排平台
7月17日，在Cloud Native Days China云原生多云多集群专场，华为云原生开源负责人王泽锋发表了《Karmada: 云原生多云容器编排平台》主题演讲，分享了在云原生多云多集群方面的思考与实践 以下为演讲全文 根据最新的调查报告显示，超过93%的企业正同时使用多个云厂商的服务。云原生技术和云市场不断成熟，多云、多集群部署已经成为常态，未来将是编程式多云管理服务的时代。 ? 云原生多云多集群的典型阶段 阶段一：一群孤岛 一致的集群运维 一致的应用交付 业务割裂，互不感知 数据孤岛、资源孤岛、流量孤岛 阶段二：威尼斯水城 统一应用交付（部署运维） 统一应用访问（流量分发） 统一资源分配（编排调度） 少量、小压力的跨集群业务访问 阶段3：大航海时代 实例、数据、流量： 自动调度 自由伸缩 自由迁移 目前，从业界的产品和一些用户二次开发使用的进度来看，还处于从一群孤岛到威尼斯水城的过渡阶段 Karmada：开源的云原生多云容器编排平台 ?
1.6K40发布于 2021-08-12 - 来自专栏Rainbond开源「容器云平台」
云原生时代的DevOps平台设计之道
在云原生时代，我们甚至呼吁开发人员在开发业务系统的时候，应该尽量做到“无状态化”，即在业务系统中，不存在限制实例横向扩容的状态数据，至少做到不同实例之间，数据可以共享。 易于掌控的微服务架构微服务架构也是云原生平台不可缺少的一个元素。 云原生应用平台，则为开发人员更简单的入手微服务框架提供了可能。云原生平台首选的微服务框架，应该是以 Istio、Linkerd 为代表的 Service Mesh 微服务框架， 也被称为“服务网格”。 云原生平台本身作为开发人员的基础设施，也需要被持续的维护。如何优化运维人员的管理体验，也是在云原生平台设计过程中的重点。 从这个角度来说，Rancher 的定位应该位于 PaaS 与云原生平台之间。KubeSphere 和 Rainbond 都属于以应用为中心的云原生平台产品，二者的设计思路不同之处见仁见智。
1.6K41编辑于 2022-10-14 - 来自专栏CNCF
云原生AI平台的加速与实践
： ---- 前言：12月19日，在 Cloud Native Days China -云原生AI大数据专场,腾讯技术事业群高级工程师薛磊发表了《云原生AI平台的加速与实践》主题演讲。 ? 演讲主要包含五部分的内容： Kubernetes介绍 AI离线计算 AI场景下Kubernetes的不足 Kubeflow 星辰算力平台的架构 Kubernetes介绍 K8s是生产级的容器编排系统，它也是云原生应用最佳的一个平台 将单机变成多机，分布式训练提高训练速度 拆分数据集 典型的分布式AI计算的架构: TensorFlow PS-Worker Horovod 两种方式的异同： 1）分布式AI计算框架：TensorFlow 提供TensorFlow原生PS-worker架构 的多机训练 推荐将PS和worker一起启动 通过service做服务发现 在社区中最早期的Operator 星辰算力平台的架构 它为私有云的一个离线计算平台 Volcano能满足我们的需求有： 1）批量调度 多个Pod从属于同一个任务 保证调度或不调度 防止饿死场景 2） 任务优先级 高低优任务区别 高优任务保证启动时延 低优弹性任务不占额度 3）优化 拓扑调度
2.6K31发布于 2021-01-27 云原生PaaS服务平台-对象模型思考
在前面谈云原生技术解决方案和PaaS平台的时候，更多都是从技术平台层面进行阐述，如果真在要转变为面向多租户的PaaS服务平台，那么就需要一个完整的底层对象模型支撑。 一个应用本身有可以分解为多个微服务模块，实际上在云原生PaaS平台下，最终进行持续集成，部署交付的都是微服务模块。每个微服务都独立进行构建和部署交付。多个微服务模块构成一个完整的大应用系统。 PaaS平台多租户模型 上图为Gartner的多租户参考架构 在私有云和公用云环境对多租户的理解上是有不同的概念的。 在公用云环境往往我们谈的是saas的多租户，租户往往为使用业务系统的一个企业或组织，而在私有云环境，paas平台提供的应用往往为平台级应用，平台级应用面对的租户是业务系统本身。 在公用云下的多租户，如果采用完全共享的模式，还必须考虑数据库的可扩展性，多租户架构服务提供独立数据库、扩展表和大表（保留字段）三种多租户架构，开发者可以通过API创建和管理多租户架构。
51810编辑于 2025-06-24- 来自专栏【腾讯云开发者】
云原生数据湖101
核心差异就在于云原生技术的普及和落地。具体到数据平台差异的核心就是云原生数据湖架构极大的降低了企业的上云成本，可以达到比 Local 更低的 IT 成本，同时享受公有云的各种好处。 1. 如何避免直接迁移 local 大数据架构到云上带来的问题，充分利用公有云特性，正确的搭建/使用云原生大数据平台，提炼出了云原生数据湖架构，是我们研究的重点。 同时集群扩容如何满足波动性很大的大数据计算需求也是一个评价云原生数据平台性能的重要指标。 yarn 的整体设计更适合 local 数据平台的固定集群规模，如何利用 k8s 来达到高效的资源调度策略是云原生数据湖的另一个核心难点。 3. 沙龙预告 3月13日（本周六）14:00~17:30，腾讯云开发者社区沙龙online「云原生」专场准时开播，腾讯云专家工程师--严俊明老师将为大家分享打造高性能云原生数据湖的秘诀，欢迎扫码预约收看~~
88910发布于 2021-03-11 - 来自专栏亨利笔记
联邦学习与云原生联邦学习平台
在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据，但数据的现状并不理想，存在数据孤岛、数据分布不均的问题。 FATE (Federated AI Technology Enabler) 是托管在 Linux Foundation 的开源的，面向生产的联邦学习平台。 KubeFATE 是一个云原生联邦学习平台，具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目，是 Kubeflow 联邦学习方案。 ://github.com/FederatedAI/KubeFATE FATE-Operator：https://github.com/kubeflow/fate-operator ---- 要想了解云原生
1.1K60编辑于 2023-04-04 - 来自专栏云云众生s
如何使用Kubernetes构建云原生平台
与领域无关的平台：这些平台作为开发人员的基本构建模块，提供数据库管理、云存储和用户身份验证等基本工具。 云原生平台的案例 云原生是关于如何创建和部署应用程序，而不是在哪里。—— Priyanka Sharma 云原生平台提供了一个基础，允许以灵活性设计应用程序，在很大程度上使它们与环境无关。 通过集成这些工具，平台可以保持高可用性和性能，确保无缝的用户体验。 安全和治理控制 集成的安全和治理控制对于维护合规性并在云原生平台中保护敏感数据至关重要。 通过云原生平台提供价值 在我们的演示视频中，我们展示了如何构建一个体现云原生关键原则的平台。这个实际示例展示了一个架构良好的云原生平台可以提供的巨大价值。 无论您是平台工程师、架构师还是 DevOps 专家，利用云原生平台都可以带来显著的价值，培养效率和敏捷的文化。保持领先地位，探索云原生平台的潜力，并见证您的组织蓬勃发展。
66110编辑于 2024-06-11 - 来自专栏devops运维先行者
云原生利器 -- Nexus3
1 Nexus3 简介 Nexus3 是一个统一的仓库系统，常见的有诸如apt、docker、maven2、npm、pypi、yum等repositories。 而Nexus3 就是这么一个平台，可以统一管理repositories仓库。这里文章介绍如何在k8s环境部署Nexus3，并快速使用，作为docker images 私有仓库。 2 K8s部署Nexus3 nexus-nm.yaml #创建namespace - nexus apiVersion: v1 kind: Namespace metadata: name: nexus 3 Nexus3使用 3.1 登陆 当我们首次登陆 nexus3.domain.com 的web界面的时候，需要输入admin的用户密码，这里需要通过查看nexus pods下面的/nexus-data 3.2 添加Docker repo 可以看到有个感叹号提醒，Nexus3建议至少使用4核CPU，这里使用2C，并无太大关系，如果有强迫症的同学可以增大CPU核数 >= 4C。
1.4K20编辑于 2022-06-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号