首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏【腾讯云开发者】

    原生数据湖101

    ,并且首次推出腾讯原生数据湖产品。 二、原生数据湖架构三原则 原生数据湖架构的核心理念是低成本,并且追求不俗的性能。 综合公有上的机遇,我们提出原生数据湖架构三原则:存算分离采用对象存储降低存储成本、充分利用上弹性资源降低计算成本、通过缓存及建模革新等一些列补偿架构来提升性能,下面分别看看三原则的优势和要克服的困难 Spot 价格通常能到三折甚至一折,如何充分利用 Spot 计算资源,又不至于被回收导致任务失败是原生数据平台的一挑战。 腾讯数据湖产品 要解决数据湖架构三原则中的诸多问题,从 0 打造原生数据湖,需要很多专业的公有背景和数据湖技术能力,腾讯为此推出两款数据湖产品,便于客户数据平台架构升级。

    83610发布于 2021-03-11
  • 来自专栏【腾讯云开发者】

    铺天盖地原生,什么才是真正的原生数据仓库?

    点击可观看精彩演讲视频 一、原生数据仓库的背景与定义 今天的主要内容首先是简单介绍原生数据仓库的背景,定义原生数据仓库,然后是讲常见的原生数据仓库的架构,包括架构的演进及应用场景。 1. 2015年之后,随着的发展,出现了新一代的原生数据仓库,我们称为智能数据云平台的阶段。每个阶段关注的点其实不太一样,环境、应用出现变化的时候,里面的技术架构也出现了一些的变革,之后会详细介绍。 这几个阶段的技术有很大的区别,我主要集中于分析型数据库来介绍。现在很多用户做交易、分析,如果数据量不是特别,用一个简单的交易型数据库就可以,比如传统的Oracle、DB2等。 从原生数据库系统来说,要做一个原生数据库系统是非常复杂的,要实现大规模计算、存储、事务管理等等,的集群架构不像只是在容器里面跑一个小的应用。 从数据共享角度来看,比如新一代的原生架构可以共享同一份数据,不需要因为集群的规模导致要分割很多种小的存储集群,相当于用一个的存储集群就搞定了。存储是统一的,只需要存一份数据,不会形成数据孤岛。

    3.8K20发布于 2021-05-26
  • 来自专栏java学习java

    原生】Docker容器数据

    是什么 卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性: 卷的设计目的就是数据的持久化 Docker容器产生的数据,如果不备份,那么当容器实例删除后,容器内的数据自然也就没有了。 为了能保存数据在docker中我们使用卷。 特点: 1:数据卷可在容器之间共享或重用数据 2:卷中的更改可以直接实时生效,爽 3:数据卷中的更改不会包含在镜像的更新中 4:数据卷的生命周期一直持续到没有容器使用它为止 数据卷案例 宿主vs容器之间映射添加容器卷 ,docker容器重启看数据是否同步。

    1.4K20编辑于 2022-11-15
  • 来自专栏云云众生s

    原生平台工程的三悖论

    原生悖论 这种原生思维为开发者的工作带来了架构方面的关注。 原生开发者构建单个微服务,但也必须跟踪集群中的 Pod 行为以及集群池中的集群行为。换句话说,他们必须同时关注森林和树木。 答案在于数据。在开发微服务的同时保持对大局的适当关注的唯一方法是掌握有关原生基础设施性能的所有相关数据。 然而,太多的数据比太少的数据更糟,这就是为什么来自 Google Cloud 的工具的原生可观测性以及原生思维对于实现原生计算的业务目标至关重要。 鼓励开发者在大规模原生计算中把握全局对于实现软件工作目标至关重要,但没有适当的可观测性数据,他们将永远无法在这一全局和日常构建与部署微服务的工作之间找到平衡。 因此,整个原生思维的概念包含了所有这些平衡行为。倾听你的开发者,给他们正确的数据,让他们找到平衡。

    26910编辑于 2024-03-28
  • 来自专栏Lansonli技术博客

    数据需要拥抱原生吗?原生为什么这么火?

    一、前言 随着各种平台、计算的兴起,原生的概念应运而生,至于什么是原生下面的会详细介绍。作为大数据领域的开发者,如看待原生的技术,需要深入学习它吗? 我觉得原生和大数据有着密切关系,原生好比一把武器,如果你是一个武林高手,是拿一把神器去参加比武,还是拿着一根树枝和别人比武,结果很显然。 二、从招聘需求来看大数据原生 1、原生开发工程师 2、大数据工程师 简单对比一下,或多或少有共同掌握的内容,都比较重视你在Java语言的编程经验 三、计算的技术革命 1、互联网时代的历程 不符合特殊级别的安全场景 私有,搭建、维护、升级成本 四、计算技术架构演进变革 1、体系变革 2、架构变革 单体架构阶段 集群架构阶段  分布式架构阶段 分布式和集群的简单区别? SpringCloud Kubernetes:微服务上方案 七、原生的概念 1、专业术语 2、 原生的定义 原生技术有利于各组织在公有、私有云和混合等新型动态环境中,构建和运行可弹性扩展的应用

    1.3K51编辑于 2022-04-28
  • 来自专栏云技术+云运维

    原生原生应用概念解析

    在一般用法中,“原生”是一种构建和运行应用程序的方法,它利用了计算交付模型的优势。“原生”是关于如何创建和部署应用程序,和位置无关。 这意味着应用程序位于云中,而不是传统数据中心。 CNCF给出了原生应用的三特征: 容器化封装:以容器为基础,提高整体开发水平,形成代码和组件重用,简化原生应用程序的维护。 当你听到“重新平台化”一词时,通常是为了适应网络,存储甚至数据库技术的变化,以允许应用程序在云中运行,“Deloitte的Kavis说。 他们肯定会将一些工作卸载到库中,但最终它是一个包含大量子程序的应用程序。原生应用程序更加模块化,许多功能分解为微服务。这允许在不需要时关闭它们,并将更新推广到那个模块,而不是整个应用程序。 无状态 的松耦合特性意味着应用程序与基础架构无关,这意味着它们是无状态的。原生应用程序将其状态存储在数据库或其他外部实体中,因此实例可以来去,应用程序仍然可以跟踪应用程序在工作单元中的位置。

    3.6K34发布于 2019-10-29
  • 来自专栏程序大视界

    原生数据库的到来

    原创不易,且行且珍惜” 01 — 前言 1.1 何为原生数据库? 原生数据库?即「Cloud-Native Database Systems」。 原生数据库是一种通过平台进行构建、部署和分发的服务。作为一种平台,原生数据库以PaaS的形式进行分发,也经常被称作DBaaS;用户可以将该平台用于多种目的,例如存储,管理和提取数据。 1.2 为何原生数据库? 原生数据库就应运而生了,它很好地避免和解决了上述因传统数据库本身的缺陷带来的一系列问题。亚马逊科技在原生数据库方面的成果遥遥领先。 亚马逊科技提供了100余种产品免费套餐。 03 — 亚马逊的原生数据库 3.1 AWS 数据库 亚马逊原生数据,即AWS数据库是一种使用完全托管式专用数据库实现数据现代化的形式的基础设施。

    1.9K10编辑于 2022-09-22
  • 来自专栏赵化冰的技术博客

    译著:原生数据中心网络

    分布式应用架构的演变是一场由应用程序领舞,网络配合的双人舞,当应用程序开始翩翩起舞时,传统的网络已经无法跟上其灵活的步伐,于是现代数据中心网络的故事就开始了。 虽然市面上有很多网络和计算的中文书籍,但这些书籍要么偏重于介绍计算的整体架构,要么偏重于介绍其中某一项网络技术,很少有技术书籍能够将计算和相关网络知识很好地结合以来,帮助读者建立起一个完 整的计算网络知识体系 这本《原生数据中心网络》是目前市面上可以找到的介绍计算底层网络技术的最好的中文书籍之一。原版作者 Dinesh G. Dutt 是 VXLAN 的发明者,对于原生数据中心网络有着深刻的见解。 如果你想要学习或者构建一个现代化的原生数据中心网络,或者想简单验证一下你对现代原生数据中心网络的一些想法,那么这本书正是你所需要的。 不管你是在搭建一个多租户的私有,还是一个运行机器学习的网络,或者一个企业数据中心,本书作者都介绍了必要的步骤,以帮助你设计费用合理、高容量、易于管理、敏捷且可靠的数据中心。

    1.4K30编辑于 2022-08-01
  • 来自专栏有点技术

    原生数据库vitess简介

    vitess 简介 Vitess是用于部署,扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有架构中运行。 从裸机迁移到私有或公共。 部署和管理大量MySQL实例。 Vitess包括使用本机查询协议的兼容JDBC和Go数据库驱动程序。 无论哪种情况,从应用程序的角度来看,keyspace都显示为单个数据库。 从keyspace读取数据就像从MySQL数据库读取数据一样。 例如,如果一个键空间中的索引表引用了另一个键空间中的数据, 则可以执行片剂内部完整性检查以验证类似外键的关系或跨表完整性检查 总结 vitess是一个基于MySQL的原生数据库,自身屏蔽了分库分表的复杂性 ,使应用能够直接使用无需特殊配置,与原生MySQL高度兼容,目前已经从CNCF毕业,相信以后会有更多的用户使用vitess.

    6.8K50发布于 2020-07-14
  • 来自专栏云原生技术社区

    金融原生漫谈(五)|如何打造更适合原生数据存储方案?

    如何更好地利用原生技术,帮助银行实现敏捷、轻量、快速、高效地进行开发、测试、交付和运维一体化,从而重构业务,推动金融科技的发展,是个长期课题。 本期金融原生漫谈,将和您一起探寻如何打造更适合原生数据存储方案。 近年来,金融服务形态经历了巨大的变化。线上业务的兴起,带来了海量的数据接入和业务的不确定性。 同时,存储系统自身的自动化运维能力,也成为IT建设者关注的焦点…… 那么,原生时代,我们需要什么样的数据存储方案? 针对底层的IT基础架构,和数据存储环境挑战,金融IT建设者们真实发问: 容器数据持久化存储方案怎么选? 容器数据资源如何分配? 如何提升容器平台的数据一致性? 通过上述改造,将传统的单体应用解耦,使与事务无关的业务逻辑并行运行,结合消息队列 / 服务网格、关系型数据库等,针对不同业务需求,可以分别实现数据的最终一致性和强一致性,打造更适合原生数据存储方案。

    78420编辑于 2022-03-03
  • 来自专栏腾讯云原生团队

    腾讯及50+原生咖集结 CNBPS 2020

    11月19-21日,第3届原生技术实践峰会 (CNBPS 2020)首次线上开启。 突破时空界限, 带你领略原生“原力”觉醒的魅力。 50+技术咖,40+演讲议题已全部落定! 从主旨演讲中洞察原生前沿趋势, 从各个维度解读原生全栈技术, 在用户和专家的碰撞中探寻最佳实践落地路径。 期间,腾讯也将参与其中 并由赵化冰、王天夫、王继罗三位腾讯工程师 分别为大家带来 Istio、Serverless、边缘容器的精彩演讲 具体议题请看下方海报~ 11月20日 2PM-5PM 原生应用架构论坛 11月21日 4PM-6PM 原生技术实践场景 下一代计算范式,腾讯在Serverless中的探索与实践 ? 11月21日 4PM-6PM 原生技术实践场景 边缘容器:边端超融合管理平台建设实践 ? 超强干货,不容错过 一定一定一定要扫码报名参加哦 ?

    54810发布于 2020-11-20
  • 解锁原生后端开发新姿势:腾讯模型API实战攻略

    原生后端与模型融合的开篇之章 在数字化浪潮汹涌澎湃的当下,原生后端开发已然成为构建高效、灵活且可扩展应用的关键基石。 总结与展望 在本次探索原生后端与腾讯模型 API 融合的旅程中,我们深入了解了原生后端开发的核心技术,包括微服务架构、容器化技术、服务发现与配置管理以及 Kubernetes 编排等,这些技术共同构成了原生后端的坚实基础 通过实际的代码实战,我们成功地基于腾讯模型 API 构建了原生后端服务,实现了智能问答、文档解析与信息抽取等核心功能,并将其与其他原生组件进行了集成。 同时,原生技术也将不断发展,为模型的应用提供更加稳定、高效的运行环境。 总之,原生后端与模型技术的融合是技术发展的必然趋势,将为各行各业带来更多的创新和变革。

    1.1K10编辑于 2025-03-23
  • 来自专栏云计算行业

    咖分享预告丨计算、原生模式下 DevOps 的建设

    直播预告 6月4日(星期四),19:00 计算、原生模式下 DevOps 的建设 扫描下方海报二维码即可预约直播! 腾讯大学公众号 长按识别二维码关注   “腾讯大学”    了解更多免费、专业   行业最新技术动态分享   戳“阅读原文”即可预约课程噢!

    24520编辑于 2023-05-29
  • 来自专栏企业数字化转型

    你的数据库“原生”了吗?

    数据库是计算机基础三软件其中之一,相比于操作系统这类更容易收到关注的表面软件,数据库就像是被埋藏在深海里看不见的冰山,虽然存在但很少有人为之侧目。 真正的化需要在架构设计、开发方式、部署维护等各个阶段和方面都基于的特点重新设计,从而建设全新的化的数据库,即原生数据库。 你的数据库“原生”了吗? 原生数据库就是在原生架构上的数据库,我们可以拿它和传统式的数据库系统做一个对比。 同样都是需要存储与计算,当数据量过大的时候,数据库就需要进行扩容,传统扩容过程非常漫长,而业务高峰过后缩容也很痛苦,往往会造成极大的资源浪费,也很难应对业务层需要的快速变化能力,这是传统架构非常的弊端之一 腾讯原生数据库 TDSQL-C 上个月,Distributed Cloud|2021全球分布式大会在上海召开,腾讯原生数据库TDSQL-C荣获“原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的原生分布式数据

    1.4K10发布于 2021-10-27
  • 来自专栏腾讯云原生团队

    腾讯原生首发容器服务3能力!

    随着用户需求的升级和原生技术的发展,原生已成为企业应用上降本增效的利器。 会议开场,腾讯原生产品中心架构总监 陈浪交 讲述了腾讯容器服务 TKE 过去几年的发展历程。 在原生节点管理上,TKE HouseKeeper 在 Serverful 模式上实现了全面增强,首创了可交互式的资产管理大盘和智能运维系统,全面辅助企业进行利用率等数据分析,并据其给出专家级建议。 基于以上三类节点管理能力,腾讯 TKE 进一步提出了集群管理的范式创新,即“一种集群管理任意节点”。 该项目也是首个获得国家级科技奖的原生降本工具。 在企业数字化转型中,原生技术成为降本增效的驱动力。

    1.1K20编辑于 2022-12-10
  • 来自专栏绿盟科技研究通讯

    原生安全》之原生安全

    原生安全发展可谓方兴未艾,原生环境中的各类安全风险日益频发,上的对抗也成为现实,越来越多的企业开始探讨如何设计、规划原生环境中的安全架构,部署相应的安全能力。 原生安全的现在和未来如何,笔者不妨从一个较高的视角进行探讨。 与计算安全相似,原生安全也包含两层含义:“面向原生环境的安全”和“具有原生特征的安全”。 1 面向原生环境的安全 总体而言,原生安全的第一阶段是安全赋能于原生体系,即构建原生的安全能力。 面向原生环境的安全,其目标是防护原生环境中的基础设施、编排系统和微服务等系统的安全。 还是以DDoS为例,在数据中心的安全体系中,抗拒绝服务是一个典型的安全应用,以硬件清洗设备为主。 既然未来云安全等价安全,而计算的下半场是原生,那不妨也做个推论,原生的未来也会等价于原生安全。

    2.1K40发布于 2021-11-10
  • 来自专栏顾宇的研习笔记

    原生 DevOps

    这就对 DevOps 在原生环境下的应用提出了新的课题和实践诉求,我们如何在原生的环境下实践 DevOps 以达到更有生产力的表现? 呼之欲出的将是一个计算的标准或者事实标准,进而加强这个市场上的马太效应,淘汰掉小的服务厂商,或者因为技术独特而被的厂商收购。 如果你害怕自己的数据中心被平台所绑定,则需要花费更多的成本来维护一个平台之间兼容性的应用系统。 例如,你的应用可能会用到 MySQL 数据库 或者 ElasticSearch 搜索引擎。在上环境,你无需初始化虚拟机,安装对应的软件包,进行配置。 而运维团队也通过新的计算技术和工具成为了基础设施端到端的产品团队。 然而,缺乏有效的沟通机制和度量机制仍然是企业向“后 DevOps”时代过度的一陷阱。

    1.6K10发布于 2018-08-17
  • 来自专栏三木的博客

    原生概要

    什么是原生 设计目的 原生软件的设计目的是预测故障,并且即使当它所依赖的基础设施出现故障,或者发生其他变化时,它也依然能够保持稳定运行。 定义 原生软件是高度分布式的,必须在一个不断变化的环境中运行,而且自身也在不断地发生变化 不适合使用原生架构的情形 不需要计算的软件,例如嵌入到家电中的软件。 原生提供的是最终一致性,但如果需要数据强一致性的话,原生架构就不适用了。 用原生架构重写软件时并没有提供新的价值 原生的价值 原生的绝妙之处在于它最终是由许多不同组件组成的,即使其中一些组件的模式不是最新的,原生组件也可以与他们进行交互。 原生平台 原生平台的发展 AWS:软件架构、开发和运维并没有太多的改变。

    50410编辑于 2024-10-09
  • 来自专栏友弟技术工作室

    原生概念

    原生概念12个因素 简介 如今,软件通常会作为一种服务来交付,它们被称为网络应用程序,或软件即服务(SaaS)。 适合部署在现代的计算平台,从而在服务器和系统管理方面节省资源。 将开发环境和生产环境的差异降至最低,并使用持续交付实施敏捷开发。 可以在工具、架构和开发流程不发生明显变化的前提下实现扩展。 这套理论适用于任意语言和后端服务(数据库、消息队列、缓存等)开发的应用程序。 原生应用的12要素,原文 The Twelve Factors I. 例如,如果应用的数据库服务由于硬件问题出现异常,管理员可以从最近的备份中恢复一个数据库,卸载当前的数据库,然后加载新的数据库 – 整个过程都不需要修改代码。 V. 相反的,应该借助操作系统的进程管理器(例如 Upstart ,分布式的进程管理平台,或是类似 Foreman 的工具),来管理 输出流 ,响应崩溃的进程,以及处理用户触发的重启和关闭超级进程的请求。

    4.9K51发布于 2018-07-04
  • 来自专栏Java技术

    原生技术

    云端存储和微服务架构以及现在的原生技术都是在实现编程范式的设计理念。原生是设计师的技术定义规范。原生技术的具体实现方式在不同的区域会有不同的实现产品落地。 机器节点的部署会和数据存储集群进行分离。机器的指标属性和不同的应用属性需要一一对应。原生技术是现在很多的不同互联网公司的产品发布定义。Springboot的启动框架构建需要有原生开发团队的维护支持。 数据服务集群部署完毕后对于数据请求网络传输和服务的迁移再落地是现在的一种开发模式。企业私服的构建实在系统级别的中央仓库中的服务监控之中。构建项目的服务需要在项目组本地部署实现。 原生技术在远程,在本地部署推广。领域驱动模型的设计构建方式是产品设计是的一种原生的实现方案。 本地部署的方式有利于系统的原生落地。不同的区域的服务和数据都会根据用户的使用反馈进行变更和迁移。数据服务的开发需要有大型的机器集群和数据节点的服务基础设施的搭建。

    44710编辑于 2024-09-07
领券