- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习/数据可视化
数据平滑9大妙招
今天给大家分享9大常见数据平滑方法：移动平均Moving Average指数平滑Exponential Smoothing低通滤波器多项式拟合贝塞尔曲线拟合局部加权散点平滑LoessKalman滤波小波变换 它对最近的数据点给予较高的权重，而对较早的数据点给予较低的权重。这使得EMA更适合用于追踪快速变化的数据。 指数平滑的主要特点包括：加权平滑：指数平滑使用指数权重来平滑数据。较新的数据点获得更高的权重，而较旧的数据点获得较低的权重。这意味着它对最近的数据更为敏感，从而更好地捕获了数据的最新趋势。 7, 8, 9])y = np.array([10, 8, 7, 6, 5, 4, 3, 2, 1])# 三阶多项式拟合degree = 3coefficients = np.polyfit(x, y 数据平滑：Savitzky-Golay滤波器旨在平滑数据，减小数据中的高频噪声和突发波动。它保留了数据中的趋势和主要特征，同时去除了噪声。
6K44编辑于 2023-10-13 - 来自专栏【腾讯云开发者】
云原生数据湖101
二、云原生数据湖架构三大原则 云原生数据湖架构的核心理念是低成本，并且追求不俗的性能。 综合公有云上的机遇，我们提出云原生数据湖架构三大原则：存算分离采用对象存储降低存储成本、充分利用云上弹性资源降低计算成本、通过缓存及建模革新等一些列补偿架构来提升性能，下面分别看看三大原则的优势和要克服的困难 对象存储有很好的 sla 保障 4 个 9 的可用性，对比 hdfs 要花不少力气才能做到 3 个9；对象存储有 11 个 9 的持久化保障，对比 hdfs 即使三副本仍有较高丢数据可能性。 Spot 价格通常能到三折甚至一折，如何充分利用 Spot 计算资源，又不至于被回收导致任务失败是云原生数据平台的一大挑战。 腾讯云数据湖产品 要解决数据湖架构三大原则中的诸多问题，从 0 打造云原生数据湖，需要很多专业的公有云背景和数据湖技术能力，腾讯云为此推出两款数据湖产品，便于客户数据平台架构升级。
84010发布于 2021-03-11 - 来自专栏【腾讯云开发者】
铺天盖地云原生，什么才是真正的云原生数据仓库？
点击可观看精彩演讲视频 一、云原生数据仓库的背景与定义 今天的主要内容首先是简单介绍云原生数据仓库的背景，定义云原生数据仓库，然后是讲常见的云原生数据仓库的架构，包括架构的演进及应用场景。 1. 2015年之后，随着云的发展，出现了新一代的云原生数据仓库，我们称为智能数据云平台的阶段。每个阶段关注的点其实不太一样，环境、应用出现变化的时候，里面的技术架构也出现了一些大的变革，之后会详细介绍。 这几个阶段的技术有很大的区别，我主要集中于分析型数据库来介绍。现在很多用户做交易、分析，如果数据量不是特别大，用一个简单的交易型数据库就可以，比如传统的Oracle、DB2等。 从云原生数据库系统来说，要做一个云原生数据库系统是非常复杂的，要实现大规模计算、存储、事务管理等等，大的集群架构不像只是在容器里面跑一个小的应用。 从数据共享角度来看，比如新一代的云原生架构可以共享同一份数据，不需要因为集群的规模导致要分割很多种小的存储集群，相当于用一个大的存储集群就搞定了。存储是统一的，只需要存一份数据，不会形成数据孤岛。
3.8K20发布于 2021-05-26 - 来自专栏java学习java
【云原生】Docker容器数据卷
是什么 卷就是目录或文件，存在于一个或多个容器中，由docker挂载到容器，但不属于联合文件系统，因此能够绕过Union File System提供一些用于持续存储或共享数据的特性： 卷的设计目的就是数据的持久化 Docker容器产生的数据，如果不备份，那么当容器实例删除后，容器内的数据自然也就没有了。 为了能保存数据在docker中我们使用卷。 特点： 1：数据卷可在容器之间共享或重用数据 2：卷中的更改可以直接实时生效，爽 3：数据卷中的更改不会包含在镜像的更新中 4：数据卷的生命周期一直持续到没有容器使用它为止 数据卷案例 宿主vs容器之间映射添加容器卷 ，docker容器重启看数据是否同步。
1.4K20编辑于 2022-11-15 - 来自专栏云云众生s
云原生平台工程的三大悖论
云原生悖论 这种云原生思维为开发者的工作带来了架构方面的关注。 云原生开发者构建单个微服务，但也必须跟踪集群中的 Pod 行为以及集群池中的集群行为。换句话说，他们必须同时关注森林和树木。 答案在于数据。在开发微服务的同时保持对大局的适当关注的唯一方法是掌握有关云原生基础设施性能的所有相关数据。 然而，太多的数据比太少的数据更糟，这就是为什么来自 Google Cloud 的工具的云原生可观测性以及云原生思维对于实现云原生计算的业务目标至关重要。 鼓励开发者在大规模云原生计算中把握全局对于实现软件工作目标至关重要，但没有适当的可观测性数据，他们将永远无法在这一全局和日常构建与部署微服务的工作之间找到平衡。 因此，整个云原生思维的概念包含了所有这些平衡行为。倾听你的开发者，给他们正确的数据，让他们找到平衡。
27910编辑于 2024-03-28 - 来自专栏Lansonli技术博客
大数据需要拥抱云原生吗？云原生为什么这么火？
一、前言 随着各种云平台、云计算的兴起，云原生的概念应运而生，至于什么是云原生下面的会详细介绍。作为大数据领域的开发者，如看待云原生的技术，需要深入学习它吗？ 我觉得云原生和大数据有着密切关系，云原生好比一把武器，如果你是一个武林高手，是拿一把神器去参加比武，还是拿着一根树枝和别人比武，结果很显然。 二、从招聘需求来看大数据和云原生 1、云原生开发工程师 2、大数据工程师 简单对比一下，或多或少有共同掌握的内容，都比较重视你在Java语言的编程经验 三、云计算的技术革命 1、互联网时代的历程 2、云计算到底是什么 3、云计算历程 4、名词 5、云平台的优缺点 优势 稳定性：云平台大量资源，分布式集群部署，保障服务永不宕机，几个9；0.999999,1 弹性扩展：按需索取，一键秒级开通需要的资源 不符合特殊级别的安全场景 私有云，搭建、维护、升级成本大 四、云计算技术架构演进变革 1、体系变革 2、架构变革 单体架构阶段 集群架构阶段 分布式架构阶段 分布式和集群的简单区别？
1.3K51编辑于 2022-04-28 - 来自专栏云技术+云运维
云原生与云原生应用概念解析
在一般用法中，“云原生”是一种构建和运行应用程序的方法，它利用了云计算交付模型的优势。“云原生”是关于如何创建和部署应用程序，和位置无关。 这意味着应用程序位于云中，而不是传统数据中心。 CNCF给出了云原生应用的三大特征： 容器化封装：以容器为基础，提高整体开发水平，形成代码和组件重用，简化云原生应用程序的维护。 当你听到“重新平台化”一词时，通常是为了适应网络，存储甚至数据库技术的变化，以允许应用程序在云中运行，“Deloitte的Kavis说。 他们肯定会将一些工作卸载到库中，但最终它是一个包含大量子程序的大应用程序。云原生应用程序更加模块化，许多功能分解为微服务。这允许在不需要时关闭它们，并将更新推广到那个模块，而不是整个应用程序。 无状态 云的松耦合特性意味着应用程序与基础架构无关，这意味着它们是无状态的。云原生应用程序将其状态存储在数据库或其他外部实体中，因此实例可以来去，应用程序仍然可以跟踪应用程序在工作单元中的位置。
3.7K34发布于 2019-10-29 - 来自专栏程序大视界
云原生数据库的到来
原创不易，且行且珍惜” 01 — 前言 1.1 何为云原生数据库？ 云原生数据库？即「Cloud-Native Database Systems」。 云原生数据库是一种通过云平台进行构建、部署和分发的服务。作为一种云平台，云原生数据库以PaaS的形式进行分发，也经常被称作DBaaS；用户可以将该平台用于多种目的，例如存储，管理和提取数据。 1.2 为何云原生数据库？ 云原生数据库就应运而生了，它很好地避免和解决了上述因传统数据库本身的缺陷带来的一系列问题。亚马逊云科技在云原生数据库方面的成果遥遥领先。 亚马逊云科技提供了100余种产品免费套餐。 03 — 亚马逊的云原生数据库 3.1 AWS 云数据库 亚马逊云原生数据，即AWS云数据库是一种使用完全托管式专用数据库实现数据现代化的形式的基础设施。
1.9K10编辑于 2022-09-22 - 来自专栏赵化冰的技术博客
译著：云原生数据中心网络
分布式应用架构的演变是一场由应用程序领舞，网络配合的双人舞，当应用程序开始翩翩起舞时，传统的网络已经无法跟上其灵活的步伐，于是现代数据中心网络的故事就开始了。 虽然市面上有很多网络和云计算的中文书籍，但这些书籍要么偏重于介绍云计算的整体架构，要么偏重于介绍其中某一项网络技术，很少有技术书籍能够将云计算和相关网络知识很好地结合以来，帮助读者建立起一个完 整的云计算网络知识体系 这本《云原生数据中心网络》是目前市面上可以找到的介绍云计算底层网络技术的最好的中文书籍之一。原版作者 Dinesh G. Dutt 是 VXLAN 的发明者，对于云原生数据中心网络有着深刻的见解。 如果你想要学习或者构建一个现代化的云原生数据中心网络，或者想简单验证一下你对现代云原生数据中心网络的一些想法，那么这本书正是你所需要的。 不管你是在搭建一个多租户的私有云，还是一个运行机器学习的网络，或者一个企业数据中心，本书作者都介绍了必要的步骤，以帮助你设计费用合理、高容量、易于管理、敏捷且可靠的数据中心。
1.4K30编辑于 2022-08-01 - 来自专栏有点技术
云原生数据库vitess简介
vitess 简介 Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。 从裸机迁移到私有云或公共云。 部署和管理大量MySQL实例。 Vitess包括使用本机查询协议的兼容JDBC和Go数据库驱动程序。 无论哪种情况，从应用程序的角度来看，keyspace都显示为单个数据库。 从keyspace读取数据就像从MySQL数据库读取数据一样。 例如，如果一个键空间中的索引表引用了另一个键空间中的数据， 则可以执行片剂内部完整性检查以验证类似外键的关系或跨表完整性检查 总结 vitess是一个基于MySQL的云原生数据库，自身屏蔽了分库分表的复杂性 ，使应用能够直接使用无需特殊配置，与原生MySQL高度兼容，目前已经从CNCF毕业，相信以后会有更多的用户使用vitess.
6.8K50发布于 2020-07-14 - 来自专栏腾讯云原生团队
9月容器产品技术月报 | 腾讯云原生专题上线啦
2020年9月 VOL:05 容器产品新特性 9月上新 腾讯云边缘服务TKE Edge 从中心云管理边缘云资源的容器系统 边缘容器服务（Tencent Kubernetes Engine for Edge 腾讯云容器服务TKE企业版 私有化云原生应用赋能企业数字化转型平台 腾讯云容器服务 TKE 企业版是为企业数字化转型提供一站式的私有化云原生应用赋能平台，提供容器化应用的高效运维、弹性伸缩等能力，降低客户使用成本 腾讯云原生专题在云+社区上线啦 快来和腾小云同赏云原生精彩资讯~ 云赏资讯 点击【阅读原文】，直达腾讯云原生专题 往期精选推荐 腾讯云推出云原生etcd服务 搬砖武士｜手把手教你在容器服务 TKE 上使用 LB直通 Pod 手把手教你在 TKE 集群中实现简单的蓝绿发布和灰度发布 【大数据云原生系列】大数据系统云原生渐进式演进最佳实践 Istio 运维实战系列（1）：应用容器对 Envoy Sidecar 汇聚腾讯云原生技术 云说新品、云研新术、云游新活、云赏资讯 x -END-
1K118发布于 2020-10-09 - 来自专栏腾讯云数据库(TencentDB)
下周见 | DTCC 2021腾讯云数据库9大看点早知道
2021年10月18日~20日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第12届中国数据库技术大会（DTCC2021）将在北京国际会议中心隆重召开。 作为全球领先的云计算、数据库产品服务商，腾讯云数据库集结多位顶级技术大咖亮相本次大会，围绕当前比较热门的数据库技术主题，共同探讨最前沿的技术趋势与实践。 为期3天的DTCC大会，设置2大主会场，20+技术专场，真正能让所有参会者学有所得，学有所长。下面为大家梳理了腾讯云DTCC议题的9大看点，精彩一网打尽。 腾讯云原生自研数据库内核深度优化最佳实践 李昕龙，腾讯云高级工程师 TDSQL-C面对真实复杂的用户场景，应该如何不断优化数据库内核？ 企业级与智能化的MySQL云服务 刘迪，腾讯云数据库高级产品经理 聚焦腾讯云数据库MySQL企业级数据库核心能力以及智能化的探索，并为大家带来实践经验分享。
97750发布于 2021-10-18 - 来自专栏云计算D1net
云服务应用开发所面临的9大挑战
下面是应该解决的主要挑战，以便清楚地证明云计算是传统的内部应用和数据中心操作的可行替代方案。 云计算引入了另一个级别的风险，因为基本服务通常外包给第三方，使得更难维护数据完整性和隐私。 02 客户不理解 认为云只是大服务器集群已经是过去时，但这并不意味着我们可以忽略云发展的事实。 03 数据安全 与云计算相关的主要关注点之一是其对云服务提供商的依赖。为了不间断和快速的云服务，需要选择具有适当基础设施和技术专长的供应商。 因为将从第三方界面运行公司的资产和数据，确保数据安全和隐私是至关重要的。因此，当涉及云服务提供商时，总是询问他们的基于云的安全策略。 这对于小型应用可能是低成本，但对于数据密集型应用可能是相当高的。通过网络提供密集和复杂的数据需要足够的带宽。正因为如此，许多企业正在等待降低成本，然后才切换到云服务。
1.8K80发布于 2018-03-27 - 来自专栏云原生技术社区
金融云原生漫谈（五）｜如何打造更适合云原生的数据存储方案？
如何更好地利用云原生技术，帮助银行实现敏捷、轻量、快速、高效地进行开发、测试、交付和运维一体化，从而重构业务，推动金融科技的发展，是个长期课题。 本期金融云原生漫谈，将和您一起探寻如何打造更适合云原生的数据存储方案。 近年来，金融服务形态经历了巨大的变化。线上业务的兴起，带来了海量的数据接入和业务的不确定性。 同时，存储系统自身的自动化运维能力，也成为IT建设者关注的焦点…… 那么，云原生时代，我们需要什么样的数据存储方案？ 针对底层的IT基础架构，和数据存储环境挑战，金融IT建设者们真实发问： 容器云数据持久化存储方案怎么选？ 容器云的数据资源如何分配？ 如何提升容器云平台的数据一致性？ 通过上述改造，将传统的单体应用解耦，使与事务无关的业务逻辑并行运行，结合消息队列 / 服务网格、关系型数据库等，针对不同业务需求，可以分别实现数据的最终一致性和强一致性，打造更适合云原生的数据存储方案。
78620编辑于 2022-03-03 - 来自专栏腾讯云原生团队
腾讯云及50+云原生大咖集结 CNBPS 2020
11月19-21日，第3届云原生技术实践峰会 （CNBPS 2020）首次线上开启。 突破时空界限， 带你领略云原生“原力”觉醒的魅力。 50+技术大咖，40+演讲议题已全部落定！ 从主旨演讲中洞察云原生前沿趋势， 从各个维度解读云原生全栈技术， 在用户和专家的碰撞中探寻最佳实践落地路径。 期间，腾讯云也将参与其中 并由赵化冰、王天夫、王继罗三位腾讯云工程师 分别为大家带来 Istio、Serverless、边缘容器的精彩演讲 具体议题请看下方海报~ 11月20日 2PM-5PM 云原生应用架构论坛 11月21日 4PM-6PM 云原生技术实践场景 下一代云计算范式，腾讯云在Serverless中的探索与实践 ? 11月21日 4PM-6PM 云原生技术实践场景 边缘容器：云边端超融合管理平台建设实践 ? 超强干货，不容错过 一定一定一定要扫码报名参加哦 ?
54810发布于 2020-11-20 解锁云原生后端开发新姿势：腾讯云大模型API实战攻略
云原生后端与大模型融合的开篇之章 在数字化浪潮汹涌澎湃的当下，云原生后端开发已然成为构建高效、灵活且可扩展应用的关键基石。 总结与展望 在本次探索云原生后端与腾讯云大模型 API 融合的旅程中，我们深入了解了云原生后端开发的核心技术，包括微服务架构、容器化技术、服务发现与配置管理以及 Kubernetes 编排等，这些技术共同构成了云原生后端的坚实基础 通过实际的代码实战，我们成功地基于腾讯云大模型 API 构建了云原生后端服务，实现了智能问答、文档解析与信息抽取等核心功能，并将其与其他云原生组件进行了集成。 同时，云原生技术也将不断发展，为大模型的应用提供更加稳定、高效的运行环境。 总之，云原生后端与大模型技术的融合是技术发展的必然趋势，将为各行各业带来更多的创新和变革。
1.2K10编辑于 2025-03-23- 来自专栏云计算行业
大咖分享预告丨云计算、云原生模式下 DevOps 的建设
直播预告 6月4日(星期四)，19:00 云计算、云原生模式下 DevOps 的建设 扫描下方海报二维码即可预约直播！ 腾讯云大学公众号 长按识别二维码关注 “腾讯云大学” 了解更多免费、专业 行业最新技术动态分享 戳“阅读原文”即可预约课程噢！
24820编辑于 2023-05-29 - 来自专栏企业数字化转型
你的数据库“云原生”了吗？
数据库是计算机基础三大软件其中之一，相比于操作系统这类更容易收到关注的表面软件，数据库就像是被埋藏在深海里看不见的冰山，虽然存在但很少有人为之侧目。 真正的云化需要在架构设计、开发方式、部署维护等各个阶段和方面都基于云的特点重新设计，从而建设全新的云化的数据库，即云原生数据库。 你的数据库“云原生”了吗？ 云原生数据库就是在云原生架构上的数据库，我们可以拿它和传统式的数据库系统做一个对比。 同样都是需要存储与计算，当数据量过大的时候，数据库就需要进行扩容，传统扩容过程非常漫长，而业务高峰过后缩容也很痛苦，往往会造成极大的资源浪费，也很难应对业务层需要的快速变化能力，这是传统架构非常大的弊端之一 腾讯云原生数据库 TDSQL-C 上个月，Distributed Cloud｜2021全球分布式云大会在上海召开，腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项，TDSQL-C 是腾讯自研的云原生分布式数据库
1.4K10发布于 2021-10-27 - 来自专栏腾讯云原生团队
腾讯云原生首发容器服务3大能力！
随着用户需求的升级和云原生技术的发展，云原生已成为企业应用上云降本增效的利器。 会议开场，腾讯云原生产品中心架构总监 陈浪交 讲述了腾讯云容器服务 TKE 过去几年的发展历程。 在原生节点管理上，TKE HouseKeeper 在 Serverful 模式上实现了全面增强，首创了可交互式的资产管理大盘和智能运维系统，全面辅助企业进行利用率等数据分析，并据其给出专家级建议。 基于以上三大类节点管理能力，腾讯云 TKE 进一步提出了集群管理的范式创新，即“一种集群管理任意节点”。 该项目也是首个获得国家级科技奖的云原生降本工具。 在企业数字化转型中，云原生技术成为降本增效的驱动力。
1.1K20编辑于 2022-12-10 - 来自专栏绿盟科技研究通讯
《云原生安全》之原生安全
云原生安全发展可谓方兴未艾，云原生环境中的各类安全风险日益频发，云上的对抗也成为现实，越来越多的企业开始探讨如何设计、规划云原生环境中的安全架构，部署相应的安全能力。 云原生安全的现在和未来如何，笔者不妨从一个较高的视角进行探讨。 与云计算安全相似，云原生安全也包含两层含义：“面向云原生环境的安全”和“具有云原生特征的安全”。 1 面向云原生环境的安全 总体而言，云原生安全的第一阶段是安全赋能于云原生体系，即构建云原生的安全能力。 面向云原生环境的安全，其目标是防护云原生环境中的基础设施、编排系统和微服务等系统的安全。 还是以DDoS为例，在数据中心的安全体系中，抗拒绝服务是一个典型的安全应用，以硬件清洗设备为主。 既然未来云安全等价安全，而云计算的下半场是云原生，那不妨也做个推论，云原生的未来也会等价于原生安全。
2.1K40发布于 2021-11-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号