首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Java升级打怪进阶之路

    原生】容器编排K8S

    开发者学习 kubernetes 可以使用的环境有几种: 使用厂商提供的套装 在主机上自己安装和配置 在开发者主机上安装和配置 从成本上来说,在开发者主机上安装和配置是比较方便的。 user: kind-hello-k8s name: kind-hello-k8s - context: cluster: kind-test user: kind-test Pod是 K8s 的最小可部署单元。 worker 两种节点 我们也掌握了安装 k8s 的概念 kubectl 可以用来和 k8s 集群通讯,是 k8s 的命令行客户端 使用 minikube/kind 可以创建学习环境 k8s 集群 使用 kubeadm 可以创建生产环境 k8s 现在,我们简要介绍下 k8s 的核心组件 etcd : 实现了raft分布式一致性协议的元数据存储 apiserver: 提供了元数据读写 etcd 的api

    99230编辑于 2022-11-28
  • 来自专栏云计算与大数据

    原生|K8S 网络篇

    worker node and list the interfaces using, ip route and filter interface matching the pod IP. root@k8s-node calixxxxxxxxx -w /opt/capture.pcap & https://iximiuz.com/en/posts/container-learning-path/ https://learnk8s.io

    45030编辑于 2023-03-18
  • 来自专栏【腾讯云开发者】

    原生数据湖101

    二、原生数据湖架构三原则 原生数据湖架构的核心理念是低成本,并且追求不俗的性能。 综合公有上的机遇,我们提出原生数据湖架构三原则:存算分离采用对象存储降低存储成本、充分利用上弹性资源降低计算成本、通过缓存及建模革新等一些列补偿架构来提升性能,下面分别看看三原则的优势和要克服的困难 Spot 价格通常能到三折甚至一折,如何充分利用 Spot 计算资源,又不至于被回收导致任务失败是原生数据平台的一挑战。 yarn 的整体设计更适合 local 数据平台的固定集群规模,如何利用 k8s 来达到高效的资源调度策略是原生数据湖的另一个核心难点。 3. 腾讯数据湖产品 要解决数据湖架构三原则中的诸多问题,从 0 打造原生数据湖,需要很多专业的公有背景和数据湖技术能力,腾讯为此推出两款数据湖产品,便于客户数据平台架构升级。

    84010发布于 2021-03-11
  • 来自专栏Java升级打怪进阶之路

    原生】K8S包管理(helm)

    例如 centos 上有 yum 例如 ubuntu 上有 apt-get Mac系统上有包管理软件: 例如 brew Windows 上也有可用的包管理软件: 例如 scoop 例如 choco 原生的事实标准平台 k8s 上也可以安装各种组件和服务。 Windows上的一个包管理命令chocolatey) choco install kubernetes-helm 例如 Mac 上,直接使用 brew 安装: brew install helm helm三概念 (Chart、Repository、Release) helm 通过三概念来管理 k8s 上的包: Chart:Chart 代表着 helm 包。 以 MySQL chart为例,如果你想在你的集群中运行两个数据库,你可以安装该chart两次。每一个数据库都会拥有它自己的 release 和 release name。

    80920编辑于 2022-11-28
  • 来自专栏【腾讯云开发者】

    铺天盖地原生,什么才是真正的原生数据仓库?

    点击可观看精彩演讲视频 一、原生数据仓库的背景与定义 今天的主要内容首先是简单介绍原生数据仓库的背景,定义原生数据仓库,然后是讲常见的原生数据仓库的架构,包括架构的演进及应用场景。 1. 2015年之后,随着的发展,出现了新一代的原生数据仓库,我们称为智能数据云平台的阶段。每个阶段关注的点其实不太一样,环境、应用出现变化的时候,里面的技术架构也出现了一些的变革,之后会详细介绍。 这几个阶段的技术有很大的区别,我主要集中于分析型数据库来介绍。现在很多用户做交易、分析,如果数据量不是特别,用一个简单的交易型数据库就可以,比如传统的Oracle、DB2等。 从原生数据库系统来说,要做一个原生数据库系统是非常复杂的,要实现大规模计算、存储、事务管理等等,的集群架构不像只是在容器里面跑一个小的应用。 从数据共享角度来看,比如新一代的原生架构可以共享同一份数据,不需要因为集群的规模导致要分割很多种小的存储集群,相当于用一个的存储集群就搞定了。存储是统一的,只需要存一份数据,不会形成数据孤岛。

    3.8K20发布于 2021-05-26
  • 来自专栏运维开发故事

    【K8S专栏】什么是原生

    什么是原生? 我相信大部分人都听过原生,但是要你说出一个所以然,却不知道怎么开口,我也是一样。 我不知道原生到底是什么,从字面来看:原生就是为而生。是什么? 不知道你有没有发现,原生其实是计算发展历程中的一种产物。 原生不是一个新的概念,它是计算发展的过程中对理念的更新和延申。 在原生时代,希望让应用更有弹性、容错性、可观测性,让应用更容易部署、管理编写、编排等,希望开发者能够更好的利用的资源、产品以及交付能力。 下边大致梳理原生的发展历程。 原生全景图(?https://github.com/cncf/landscape): 核心理念 原生技术有助于企业在公有、私有云和混合等新型动态环境中构建和运行可弹性扩展的应用。 ,而且以原生理念而诞生的技术也越来越多,最终原生究竟如何定义现在也未可知,咱们只有拭目以待。

    1.6K20编辑于 2022-09-15
  • 来自专栏AustinDatabases

    原生数据库砸了 K8S自建数据库的饭碗--- CXL内存技术

    CXL 的出现,使得统一管理近内存、扩展内存、池化内存和共享内存成为可能,CXL 允许构建容量内存缓冲池,从而提高数据库系统的内存利用效率和性能。 CXL 协议的低延迟、高带宽为针对远内存数据定制的索引设计提出了新的要求,可以充分利用新硬件设计的优势,提高索引管理的效率和可扩展性,从而提高 DBMS 的整体性能,CXL 提供的共享缓冲池为原生数据库中进一步的计算 那么引入了这样的协议的原生数据库有什么挑战? (听话听音) CXL 引入了多层内存结构,包括近内存、远内存和共享内存,构建一个有效管理这些不同类型内存的混合缓冲池是一项挑战。 聪明的人看完上面的信息,应该已经对原生数据库的优缺点或者系统的难点有了清晰的一部分认知了,可以总结出一句话。 这也是大会上三层分离的基础,计算,内存,存储(实际上三层最难的分离是在内存的分离,serverless 目前还是CPU和内存绑定,后期就全部分离了,要怎么弹就怎么弹的时代很快会到来) 注: CXL 助力原生数据库的四特点

    46511编辑于 2025-03-03
  • 来自专栏java学习java

    原生】Docker容器数据

    是什么 卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性: 卷的设计目的就是数据的持久化 Docker容器产生的数据,如果不备份,那么当容器实例删除后,容器内的数据自然也就没有了。 为了能保存数据在docker中我们使用卷。 特点: 1:数据卷可在容器之间共享或重用数据 2:卷中的更改可以直接实时生效,爽 3:数据卷中的更改不会包含在镜像的更新中 4:数据卷的生命周期一直持续到没有容器使用它为止 数据卷案例 宿主vs容器之间映射添加容器卷 ,docker容器重启看数据是否同步。

    1.4K20编辑于 2022-11-15
  • 来自专栏云云众生s

    原生平台工程的三悖论

    原生悖论 这种原生思维为开发者的工作带来了架构方面的关注。 原生开发者构建单个微服务,但也必须跟踪集群中的 Pod 行为以及集群池中的集群行为。换句话说,他们必须同时关注森林和树木。 答案在于数据。在开发微服务的同时保持对大局的适当关注的唯一方法是掌握有关原生基础设施性能的所有相关数据。 然而,太多的数据比太少的数据更糟,这就是为什么来自 Google Cloud 的工具的原生可观测性以及原生思维对于实现原生计算的业务目标至关重要。 鼓励开发者在大规模原生计算中把握全局对于实现软件工作目标至关重要,但没有适当的可观测性数据,他们将永远无法在这一全局和日常构建与部署微服务的工作之间找到平衡。 因此,整个原生思维的概念包含了所有这些平衡行为。倾听你的开发者,给他们正确的数据,让他们找到平衡。

    27910编辑于 2024-03-28
  • 来自专栏Lansonli技术博客

    数据需要拥抱原生吗?原生为什么这么火?

    一、前言 随着各种平台、计算的兴起,原生的概念应运而生,至于什么是原生下面的会详细介绍。作为大数据领域的开发者,如看待原生的技术,需要深入学习它吗? 我觉得原生和大数据有着密切关系,原生好比一把武器,如果你是一个武林高手,是拿一把神器去参加比武,还是拿着一根树枝和别人比武,结果很显然。 二、从招聘需求来看大数据原生 1、原生开发工程师 2、大数据工程师 简单对比一下,或多或少有共同掌握的内容,都比较重视你在Java语言的编程经验 三、计算的技术革命 1、互联网时代的历程 不符合特殊级别的安全场景 私有,搭建、维护、升级成本 四、计算技术架构演进变革 1、体系变革 2、架构变革 单体架构阶段 集群架构阶段  分布式架构阶段 分布式和集群的简单区别? SpringCloud Kubernetes:微服务上方案 七、原生的概念 1、专业术语 2、 原生的定义 原生技术有利于各组织在公有、私有云和混合等新型动态环境中,构建和运行可弹性扩展的应用

    1.3K51编辑于 2022-04-28
  • 来自专栏云技术+云运维

    原生原生应用概念解析

    在一般用法中,“原生”是一种构建和运行应用程序的方法,它利用了计算交付模型的优势。“原生”是关于如何创建和部署应用程序,和位置无关。 这意味着应用程序位于云中,而不是传统数据中心。 CNCF给出了原生应用的三特征: 容器化封装:以容器为基础,提高整体开发水平,形成代码和组件重用,简化原生应用程序的维护。 当你听到“重新平台化”一词时,通常是为了适应网络,存储甚至数据库技术的变化,以允许应用程序在云中运行,“Deloitte的Kavis说。 他们肯定会将一些工作卸载到库中,但最终它是一个包含大量子程序的应用程序。原生应用程序更加模块化,许多功能分解为微服务。这允许在不需要时关闭它们,并将更新推广到那个模块,而不是整个应用程序。 无状态 的松耦合特性意味着应用程序与基础架构无关,这意味着它们是无状态的。原生应用程序将其状态存储在数据库或其他外部实体中,因此实例可以来去,应用程序仍然可以跟踪应用程序在工作单元中的位置。

    3.7K34发布于 2019-10-29
  • 来自专栏程序大视界

    原生数据库的到来

    原创不易,且行且珍惜” 01 — 前言 1.1 何为原生数据库? 原生数据库?即「Cloud-Native Database Systems」。 原生数据库是一种通过平台进行构建、部署和分发的服务。作为一种平台,原生数据库以PaaS的形式进行分发,也经常被称作DBaaS;用户可以将该平台用于多种目的,例如存储,管理和提取数据。 1.2 为何原生数据库? 原生数据库就应运而生了,它很好地避免和解决了上述因传统数据库本身的缺陷带来的一系列问题。亚马逊科技在原生数据库方面的成果遥遥领先。 亚马逊科技提供了100余种产品免费套餐。 03 — 亚马逊的原生数据库 3.1 AWS 数据库 亚马逊原生数据,即AWS数据库是一种使用完全托管式专用数据库实现数据现代化的形式的基础设施。

    1.9K10编辑于 2022-09-22
  • 来自专栏赵化冰的技术博客

    译著:原生数据中心网络

    分布式应用架构的演变是一场由应用程序领舞,网络配合的双人舞,当应用程序开始翩翩起舞时,传统的网络已经无法跟上其灵活的步伐,于是现代数据中心网络的故事就开始了。 虽然市面上有很多网络和计算的中文书籍,但这些书籍要么偏重于介绍计算的整体架构,要么偏重于介绍其中某一项网络技术,很少有技术书籍能够将计算和相关网络知识很好地结合以来,帮助读者建立起一个完 整的计算网络知识体系 这本《原生数据中心网络》是目前市面上可以找到的介绍计算底层网络技术的最好的中文书籍之一。原版作者 Dinesh G. Dutt 是 VXLAN 的发明者,对于原生数据中心网络有着深刻的见解。 如果你想要学习或者构建一个现代化的原生数据中心网络,或者想简单验证一下你对现代原生数据中心网络的一些想法,那么这本书正是你所需要的。 不管你是在搭建一个多租户的私有,还是一个运行机器学习的网络,或者一个企业数据中心,本书作者都介绍了必要的步骤,以帮助你设计费用合理、高容量、易于管理、敏捷且可靠的数据中心。

    1.4K30编辑于 2022-08-01
  • 来自专栏有点技术

    原生数据库vitess简介

    vitess 简介 Vitess是用于部署,扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有架构中运行。 从裸机迁移到私有或公共。 部署和管理大量MySQL实例。 Vitess包括使用本机查询协议的兼容JDBC和Go数据库驱动程序。 无论哪种情况,从应用程序的角度来看,keyspace都显示为单个数据库。 从keyspace读取数据就像从MySQL数据库读取数据一样。 例如,如果一个键空间中的索引表引用了另一个键空间中的数据, 则可以执行片剂内部完整性检查以验证类似外键的关系或跨表完整性检查 总结 vitess是一个基于MySQL的原生数据库,自身屏蔽了分库分表的复杂性 ,使应用能够直接使用无需特殊配置,与原生MySQL高度兼容,目前已经从CNCF毕业,相信以后会有更多的用户使用vitess.

    6.8K50发布于 2020-07-14
  • 来自专栏架构驿站

    K8sGPT,基于 AI 的原生终极工具

    Hello folks,我是 Luga,今天我们来聊一下原生生态排障杀器-基于AI 的原生终极工具:“K8sGPT”。 它分析和理解自然语言数据的能力是无与伦比的,这使其成为希望从大量文本数据中获得洞察力的企业和组织的宝贵工具。 — 01 — 何为 K8sGPT ? 5、匿名化数据 在分析过程中,K8sGPT 检索可能包含敏感信息的数据,如 Pod 名称、命名空间、资源名称等,这些敏感信息有时被归类为对特定群体甚至更具限制性的个人严格机密(C3、C4数据分类 K8sGPT 为我们提供了一种功能,通过在发送到 AI 后端时将其屏蔽,并将其替换为密钥,该密钥可用于在解决方案返回给用户时对数据进行去匿名化,从而轻松匿名化这些数据。 凭借其先进的自然语言处理能力和 Kubernetes 编排的优势,K8sGPT 有可能改变我们分析和理解文本数据的方式,并推动许多行业的创新。 Adiós !

    5.3K60编辑于 2023-05-22
  • 来自专栏【云原生】

    原生、k8s】基于Helm管理Kubernetes应用

    k8s-node01 192.168.100.133 k8s-node02 EOF 图片 [root@localhost ~]# hostname k8s-node01 [root@k8s-node01 安装工具,使所有的组件都会以容器的方式运行 kubectl:客户端连接K8S API工具 kubelet:运行在node节点,用来启动容器的工具 2、配置阿里yum源 使用 YUM 方式安装 Kubernetes 阿里仓库(https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts) 官方仓库(https://hub.kubeapps.com/charts/incubator [root@k8s-master tomcat]# helm ls [root@k8s-master tomcat]# kubectl get pod 图片 [root@k8s-master tomcat [root@k8s-master tomcat]# kubectl get pod [root@k8s-master tomcat]# helm ls 图片 回滚 [root@k8s-master tomcat

    1.4K82编辑于 2023-08-18
  • 来自专栏腾讯云原生团队

    今晚8点直播 | TKEStack 腾讯原生开源实践之路

    高级软件开发工程师和产品经理,11年工作年限,负责腾讯 TKEStack 开源容器平台项目。 有丰富的产品开发和项目管理经验,对开源和原生有极大的热情,致力于打造面向离线和在线业务多维异构的一站式通用基础架构平台。 曾参加Kubecon China 2020,腾讯Techo开发者大会,腾讯合作伙伴大会等并做演讲。 ? 腾讯容器产品中心高级产品经理,负责容器私有开源、商业化相关产品工作。 全程参与了腾讯TKEStack产品的开源工作,对开源产品设计、持续投入、商业化结合等内容均较为了解。 也曾作为容器产品架构师参与多个容器私有项目专项培训与交流,并参与华东游戏行业容器专项沙龙、Harbor技术沙龙深圳站等多个容器相关专项交流活动并作主题分享。

    94842发布于 2020-10-27
  • 来自专栏云计算与大数据

    原生|k8s api-server代码了解

    = nil { return err } return prepared.Run(stopCh) } /Users/heidsoft/go/src/k8s.io/kubernetes/

    36920编辑于 2023-03-18
  • 来自专栏沃趣科技

    原生RDS在k8s中的实现

    近些年计算最火的领域围绕PaaS层级,向下PaaS平台能部署标准计算IaaS资源或者自建机房的基础硬件建设,向上利用PaaS微服务架构特点快速构建SaaS应用。 而基于容器编排技术的Kubernetes,已然成为业界事实标准,容器化,原生一跃成为近几年计算领域最火的关键字,是企业数字化转型过程中的重要技术选型环节。 ? 有状态服务通常是平台建设的难点,例如分布式的关系型数据库一般大于3节点,某个时间段内Primary node提供可读写的权限,其他节点只提供只读权限,当Primary Node发生异常就需要进行高可用切换或者选主过程 数据库这类型的服务我们统称为有状态的服务或者RDS服务。如何利用K8S平台特性,运行有状态的RDS服务? 利用Operator构建数据库业务应用 通过上文我们已知如何解决容器RDS资源配置一致、数据一致和访问入口一致,看起来似乎已经满足容器化平台建设的需求,但是很遗憾k8s只认得自身的资源类型,比如pod

    3.8K20发布于 2019-07-02
  • 来自专栏云原生技术社区

    金融原生漫谈(五)|如何打造更适合原生数据存储方案?

    本期金融原生漫谈,将和您一起探寻如何打造更适合原生数据存储方案。 近年来,金融服务形态经历了巨大的变化。线上业务的兴起,带来了海量的数据接入和业务的不确定性。 同时,存储系统自身的自动化运维能力,也成为IT建设者关注的焦点…… 那么,原生时代,我们需要什么样的数据存储方案? 容器数据持久化存储方案怎么选? 首先,容器平台的底座主流是Kubernetes,所以从理论上来说,只要支持K8s CSI存储接口的商用存储产品,就可以选择使用。 现在国内容器产品在K8s 的工作负载支持方面都做得不错,以灵雀为例,我们在产品中使用K8s的Operator技术进行有状态应用的部署、运维等能力,并且提供中间件的容器化服务 RDS 能力,是对数据服务 通过上述改造,将传统的单体应用解耦,使与事务无关的业务逻辑并行运行,结合消息队列 / 服务网格、关系型数据库等,针对不同业务需求,可以分别实现数据的最终一致性和强一致性,打造更适合原生数据存储方案。

    78620编辑于 2022-03-03
领券