本文整理自腾讯云专家工程师王继罗在 2020年12月深圳 Qcon 大会上的分享内容——边缘计算场景下云边端一体化的挑战与实践 。 关于这个问题,腾讯云早在几年前就已开始进行思考,并且着手打造了云边端一体化的超融合平台,目的是希望能够让业务可以更容易落地到边缘。 今天,我们就从以下三个部分展开,跟大家分享腾讯云在建设超融合平台时的一些经验: 第一部分:主要介绍边缘计算有什么作用、业务落地边缘存在哪些挑战、以及为什么要有云边端一体化; 第二部分:主要介绍腾讯云在打造超融合平台时的一些实战经验和进展 云边端一体化的意义 边缘场景有如此多的挑战,带来的影响就是业务落地非常困难,这个问题直接阻碍了行业的发展。为了降低业务落地门槛,促进行业顺利发展,云边端一体化的就显得很有必要。 超融合平台的使命 上面我们一起探讨了边缘计算的挑战和云边端一体化的意义,腾讯云几年前就开始往这方面投入资源,经过多年沉淀逐步建设了囊括方方面面的超融合平台,接下来再和大家分享下腾讯云在超融合平台建设方面的实践
部署全栈分布式云矩阵:实现底层资源解耦与管控统一 为解决上述架构冲突,腾讯云将公有云能力1:1复制与延伸,提供分布式云全景产品矩阵,通过“云边端同源同构”技术支撑企业按需搭载底层设施: 本地专用集群(CDC CDC以一体化机柜形式在本地部署算力,提供完全一致的公有云体验;CDZ支持在客户IDC内搭建专属服务,绝大多数管控在云端,即使到主Region线路故障,CDZ内已有业务亦不受影响。 云原生分布式云中心(TDCC): 提供Manage Cloud Everywhere统一管控,基于Kubernetes标准,实现公有云、私有云、边缘云的云网融合与云边协同。 富士康(基于TCE+TCS打造工业云边端统一管理架构): 业务场景: 跨国制造企业需满足苹果产线数据绝对私有化,并应对工厂电力不稳及网络受限问题。 架构落地: 部署“云(集团中心TCE)- 边(工厂边缘TCS)- 端(车间节点TCS Edge)”一体化架构。
腾讯专有云TCE以公有云同等能力实现私有化部署 TCE(Tencent Cloud Enterprise)将腾讯公有云近百款产品1:1下沉至私有环境,覆盖计算、存储、网络、安全、数据库及中间件全栈服务, 具备三项核心优势: 统一架构与代码:基于腾讯公有云长期验证的成熟产品,提供一致性体验与稳定服务(来源:腾讯云技术架构) 全栈国产化适配:支持国产芯片、服务器及操作系统,实现集群级一云多芯 完备运维体系: 提供运营平台BMP、运维平台OSP及容灾管理系统DRMS,降低运维复杂度 云边一体架构实现中心与边缘协同管理 针对强合规场景的分布式需求,TCE与CDC(Cloud Dedicated Cluster) ,网络恢复后自动同步数据(来源:腾讯云测试数据) 统一管控体系:中心云通过专线/VPN实现对所有边缘节点的统一账号、监控、运维管理 头部证券企业构建国产化行业云平台 某大型证券科技公司采用TCE+CDC 、变电站等场景需求 降低网络建设成本30%以上(来源:客户实测数据),提升业务通信质量与时效性 腾讯云技术领先性获行业权威认证 TCE基于腾讯公有云相同技术栈,具备: 通过工信部可信云认证及等保三级安全评估
3月27日,在“2019新智元AI技术峰会——智能云·芯世界”上,阿里云首席智联网科学家丁险峰先生发表了题为《边缘 AI 计算平台 让看见,更有价值》的演讲。 丁险峰从电子工程系、计算机系、控制系和物联网系对物联网和边缘计算的理解,剖析了云边端如何协同实现AI,介绍了阿里云物联网云平台的总体架构和应用场景。 上启云、下启物,智能要向边缘延伸,助力视频方案商连接智能化能力。 我们有端、边、云,云上的生态可以兼容所有硬件,云上训练、云端下发、边缘推理,做到云边一体化,帮助 AI 公司进入物理世界。 这是我们完整的云边端一体化生态,已经提供了工具,直接可以做视频。3 月 21 号我们刚刚发布,拿回去就可以直接使用。适配所有的硬件,兼容所有边缘服务器,非常开放。 有了这套云边端一体的方法,拿回家你就会变成改变物理世界的神。 物联网云平台应用场景 我们满足很多很多客户的需要,任何普通用户算法 ISV 开发者,我们可以把云端所有模型推理到边缘,适配所有的硬件。
应对强合规转型中的云边协同瓶颈 强合规场景下企业数字化转型面临多重战略困境:需满足政策合规、数据安全与隔离、系统可控性、国产化、全栈云产品能力、可运维运营六大核心要求(来源:腾讯全球数字生态大会)。 同时,政务(数据自治/集中管理)、交通(边缘计算/就近访问)、能源(中心与边缘IT统一)等行业存在云边一体诉求,但面临边缘节点分散、网络环境复杂、时延要求高、部门级重复建设等瓶颈,理想的全域协同与现实能力存在显著差距 部署TCE+CDC构建云边一体技术底座 腾讯提供专有云TCE+本地专用集群CDC组合方案。 验证TCE+CDC客户实践成效 头部证券企业云边一体国产行业云 背景:大型集团下科技公司,定位资本市场数字化基础设施赋能者,需构建自用+行业云托管体系(来源:腾讯全球数字生态大会)。 云边协同深度:TCE+CDC实现本地数据驻留、极低时延、弱网自治、集中管控,精准匹配政务、交通、能源等强监管场景的分布式云诉求。
不同行业在向云边一体化演进时,面临着具体的业务冲突与诉求: 金融行业: 面向行业下游提供云服务时,租户需要独享计算、存储与网络资源,同时要求总部实现统一管控与统一运维。 部署全栈国产化的云边一体技术架构 为解决上述场景中的管控碎片化与数据合规问题,企业需引入公有云能力下沉的第三代私有云架构(企业数字化转型的IT驱动引擎)。 该架构通过腾讯云TCE(中心)与CDC(边缘)的融合,实现公有云能力1:1完全输送至私有环境。 TCE中心统一管控: 提供与公有云统一的架构和代码,覆盖近百个云产品。 落地金融与能源行业的数字化基座 案例一:某头部证券企业构建云边一体国产行业云 业务痛点: 作为大型集团下的科技公司,需满足中心云自建自用(强合规),同时向近百家资管客户提供全国产云服务与托管服务(强隔离 沉淀公有云架构赋能私有化演进 选择1:1下沉公有云能力的专有云平台,是强合规企业IT演进的核心路径。
尤其在工业领域,正在经历一个向新电子架构的过渡,继承了在云计算、软件定义网络、云存储和对象数据库、大数据、软件部署和编排以及安全等方面所经历的一些技术进展。 e.端到端管理和编排:一种通用的软件部署模型,从云到端点,实现了一个现代的CI/CD软件生命周期管理。
而云边协同是边缘计算中非常重要的特性,那么为何云边协同那么重要? 中心云与边缘云的关系如下图,中心云管理多个边缘云平台,工业PC和大量的网关,而边缘云则通过边缘网关接入各种设备、传感器等。 ? 上述是边缘云和中心云的各自的特点,云边协同则包含了计算资源、安全策略、应用管理、业务管理等方面的协同。 对于边缘计算来说,不同于把大量的资源整合的云计算平台,边缘云平台更是一个分布式的平台,因此云边协同的特征是边缘计算的主要特征之一,而云边协同包含了各种协议和功能,涉及到了云计算的方方面面,因此在边缘计算的发展过程中 ,云边协同的功能开发成为了主要的开发工作之一。
而云边协同是边缘计算中非常重要的特性,那么为何云边协同那么重要? 中心云与边缘云的关系如下图,中心云管理多个边缘云平台,工业PC和大量的网关,而边缘云则通过边缘网关接入各种设备、传感器等。 ? 上述是边缘云和中心云的各自的特点,云边协同则包含了计算资源、安全策略、应用管理、业务管理等方面的协同。 对于边缘计算来说,不同于把大量的资源整合的云计算平台,边缘云平台更是一个分布式的平台,因此云边协同的特征是边缘计算的主要特征之一,而云边协同包含了各种协议和功能,涉及到了云计算的方方面面,因此在边缘计算的发展过程中 ,云边协同的功能开发成为了主要的开发工作之一。
4) Preview & Record(预览/录像/快照) 本地预览:来自播放端能力透传(Surface/Texture 可选); 边转发边录制:MP4 分段/循环录制;开始/结束事件回调; 快照: 十二、部署与场景 端侧(Android/无人机/机器人):就地拉流 → 上行 RTMP;同时可本地预览/录像/静音; 边缘网关:集中聚合、二次分发、旁路回灌到内网 RTSP 微服务; 中心云/CDN RTSP→ RTMP 转发 沉淀为一块可复用、可运维、可规模化的底座能力: 在 端侧/Android 贴近采集源做首跳转发,降低时延与回源压力; 在 边缘节点 聚合、旁路回灌与就地录制; 在 中心云/ 最终效果是:同一套接口语义、同一套观测指标、同一套稳定性策略,贯穿端—边—云全链路。实时视频因此更贴近现场、更贴近业务,也更容易被复制、被维护、被长期运营。
“云-边-端”形态。 值得一提的是,中国信通院牵头撰写的《GlobalManagement Framework of DistributedCloud》已在 ITU 成功立项,旨在基于中心云与边缘云形成的分布式一体化形态上, 缘 BIE,将云计算能力拓展至用户现场,提供临时离线、低延时的计算服务,同时配合智能边缘云端管理套件,形成“云管理,端计算” 的端云一体解决方案;华为在 2018 年推出了 IEF 平台,通过纳管用户的边缘节点 ,提供将云上应用延伸到边缘的能力,联动边缘和云端 的数据,为企业提供完整的边缘和云协同的一体化服务的边缘计算解决方案; 中兴通讯推出了边缘计算产品,提供从硬件到软件全套的基础设施,支持多种边缘计算系统级方案 ; 新华三推 出了超融合边缘计算产品UIS-Edge,支持多种硬件形态与部署方式, 将云原生能力延伸至边缘,提供完善的设备接入、边缘计算及云边协 同能力,为企业提供一站式云边端融合解决方案。
作者/古强 Stream Stream是KubeEdge中提供云边隧道的模块,目前支持ApiServer向Kubelet发起的containerLog、exec和metrics请求。 云边隧道基于WebSocket建造,支持双向传输和流式传输。 架构 整个Stream功能由CloudStream和EdgeStream两部分组成,从名字便可以看出它们各自运行在何处。 ? 所有向边缘节点DaemonEndpoint的请求都会被转发到CloudStream的StreamPort,经过内部处理后从边缘节点与TunnelPort建立的云边隧道到达EdgeStream,由EdgeStream Message:云边实际传输的数据封包,由连接ID、数据类型和数据三部分组成。 每个云边隧道由一个Session和一个TunnelSession配对组成,提供网络传输,上层只需收发Message数据包而无需关注传输细节。
部署全栈软硬一体架构与自动化迁移工具 为解决底层的“卡脖子”问题,北京华电众信技术股份有限公司(国家级专精特新“小巨人”企业)联合腾讯云,打造了从边缘计算到云端分析的全栈自主创新一体机平台,构建“异构云边一体 依托异构融合能力夯实底层技术确定性 面对能源行业对自主可控与系统稳定性的严苛要求,腾讯云从操作系统与数据库两大核心底层输出高确定性技术:通过高度自动化的迁移工具打破异构数据库间的语法壁垒,从根本上消解了数据迁移过程中的丢包与宕机风险 ;同时,其独特的“异构云边一体”体系有效屏蔽了底层硬件差异,为广泛分布的工业控制节点与海量终端提供了一致、可靠的算力及数据调度基座,真正让国产化替换从“可用”走向“好用”和“真用”。
构建异构云边一体平台:软硬协同打造全栈工业计算体系 针对底层计算架构与数据底座的迁移阻碍,国家级专精特新“小巨人”企业北京华电众信技术股份有限公司联合腾讯云及行业应用集成商(如科远),共同构建了覆盖设备控制层 底层驱动与自研工具链协同: 在异构计算栈适配上,依托华电众信硬件驱动团队的底层调优经验,加速上层控制应用在国产芯片上的指令集适配;在数据引擎替换上,引入腾讯云操作系统与数据库体系,通过部署 CPDS 实时数据库与关系型数据库 贯通边缘侧至云端全链路:实现核心业务零故障平滑割接 结合腾讯云“异构云边一体”体系与华电众信的一体机硬件平台,该联合方案在数智化坚强电网调度、能碳管理中心及智慧电厂等核心场景中,输出了一系列量化的工程交付价值 腾讯云在方案中扮演了提供高可用基础软件底座(操作系统、TDSQL数据库及平滑迁移工具链)的关键角色。
在本文中,笔者基于 10+ 年的大数据与数据仓库的工作经验,就目前的主流趋势:离在线一体化、引擎一体化、云原生化等写一些思考,抛砖引玉,希望能与各位共同探讨。 数据仓库从存储与计算独享节点并行处理以在线查询为主的模式发展为支持离线 ETL、机器学习、在线查询的云原生离在线一体化数据仓库,可以一体化解决数据仓库 ODS、DWD、ADS 等各层的清洗、查询需求,做到从业务数据库与埋点数据同步到离在线数据仓库后 除了业界通用的 HTAP 的方案外,阿里云 TP/NoSQL 与 AP 之间也形成了多个产品组合的引擎一体化方案。 不同于一个引擎内部的 HTAP 一体化方案,阿里云以 PolarDB 及 RDS 为代表的 TP 数据库与 OLAP 引擎之间采取直读、或者 CDC 数据同步,再通过 OLAP 引擎进行查询。 ,管控体验一体化,甚至财务一体化。
SuperEdge 是 Kubernetes 原生的边缘容器方案,它将 Kubernetes 强大的容器管理能力扩展到边缘计算场景中,针对边缘计算场景中常见的技术挑战提供了解决方案,如:单集群节点跨地域、云边网络不可靠 云边隧道的架构与原理 在边缘场景中,很多时候都是单向网络,即只有边缘节点能主动访问云端。云边隧道主要用于代理云端访问边缘节点组件的请求,解决云端无法直接访问边缘节点的问题。 架构图如下所示: ? HTTPS 模块小结 HTTPS:负责建立云边 HTTPS 代理(eg:云端 kube-apiserver <-> 边端 kubelet),并传输数据 作用与 TCP 代理类似,不同的是 tunnel-cloud 小结 TCP:负责在多集群管理中建立云端与边端的 TCP 代理 云端组件通过 TCP 模块访问边缘端的 Server,云端的 TCP Server 在接收到请求会将请求封装成 StreamMsg 通过云边隧道 合作与开源 基于开源的 Tunnel 实现的云边隧道已上线到边缘容器产品 TKE Edge,欢迎大家体验。
在这个过程中,云边协同作为分布式云发展的重要核心,通过协同发展云服务与边缘计算服务,搭建起了数字经济与5G时代下云计算行业进一步融合发展的桥梁。 云边协同为何重要? 云边协同是分布式云中非常重要的特性,那么为何云边协同那么重要? 众所周知,边缘计算是将基础设施资源进行分布式部署再统一管理的。资源较为集中的称为“中心云”,资源量较少的部署点称为“边缘云”。 云边如何协同? 云计算与边缘计算需要通过紧密协同,才能更好地满足各种需求场景的匹配,从而最大化体现云计算与边缘计算的应用价值。在具体的应用场景中,云边是如何实现协同的呢? 因此,云边协同正为传统能源产业的智慧升级提供道路。 结语 可以看到,云边协同前景是美好的,但路也要一步步走。
云一体化架构平台,平台开放服务接口,实现数据共享。 端-边-云一体化关系端:是终端设备,如手机、lbs定位器、各类传感器、摄像头等;边:是云计算的边缘侧,分为基础设施边缘和设备边缘;边涉及的概念是云的子集;云:是传统云计算的中心节点,是边缘计算的管控端; 2.平台一体化部署方式在云、边协同的集群上部署应用:适合实时性要求较高、比较重视隐私、与云连接的网络质量没有保障、网络带宽受限的场景,如5G视频接入、无人驾驶、车联网、智能家居、工业互联网、医疗互联网、 3.边缘计算网关:与云平台分工协作边缘计算网关是指在靠近物理设备或视频数据源的一侧,通过视频采集、网络传输、分析计算、视频存储、关联应用等核心能力为一体的AI平台,就近提供最近设备端视频分析服务。 三、SkeyeVSS视频融合云平台SkeyeVSS国标视频融合云平台基于端-边-云一体化架构,具有海量视频接入、汇聚与管理、处理及分发等视频能力,部署轻量简单、功能灵活多样,平台可支持多协议(GB28181
云一体化架构平台,平台开放服务接口,实现数据共享。 端-边-云一体化关系端:是终端设备,如手机、lbs定位器、各类传感器、摄像头等;边:是云计算的边缘侧,分为基础设施边缘和设备边缘;边涉及的概念是云的子集;云:是传统云计算的中心节点,是边缘计算的管控端; 2.平台一体化部署方式在云、边协同的集群上部署应用:适合实时性要求较高、比较重视隐私、与云连接的网络质量没有保障、网络带宽受限的场景,如5G视频接入、无人驾驶、车联网、智能家居、工业互联网、医疗互联网、 3.边缘计算网关:与云平台分工协作边缘计算网关是指在靠近物理设备或视频数据源的一侧,通过视频采集、网络传输、分析计算、视频存储、关联应用等核心能力为一体的AI平台,就近提供最近设备端视频分析服务。 三、SkeyeVSS视频融合云平台SkeyeVSS国标视频融合云平台基于端-边-云一体化架构,具有海量视频接入、汇聚与管理、处理及分发等视频能力,部署轻量简单、功能灵活多样,平台可支持多协议(GB28181