在这个背景下,“云、边、端一体化运维协同”已经开始成为一种架构共识。通过云原生加持,云边融合的进程也正在被急剧加速。在这样的趋势下,引入云原生理念、全面转型边缘应用的运维管理模式成为亟需解决的问题。 本文整理自作者阿里云容器服务技术专家,OpenYurt 作者 & 初创人员之一何淋波(新胜)于 1 月 26 日在阿里云开发者社区“周二开源日”的直播分享,将站在实际落地场景的角度,探索云原生技术和边缘计算的融合挑战 第三块包括:公共云、专有云、边缘云是一个新的资源承载系统。 3. 云边一体云原生基础设施 云边一体云原生基础设施,是在云端做管控、边缘自治的云原生系统。如下图所示: ? 云原生加速了多云、云边融合,云边一体的价值是: 一是可以为用户在任何基础设施上提供和云上一致的功能和体验,实现云边端一体化的应用。 云原生与边缘计算融合要解决什么问题?
当前智能车联云平台需要支持百万车辆接入,同时支持海量数据管理调度,这对云平台的性能、稳定及安全性提出了极高要求。 建设背景在软件定义汽车(Software Defined Vehicles,SDV)的快速推进过程中,算力成为驱动汽车产品智能化升级与产业融合变革的关键驱动力之一,车端算力供给模式将走向“云-网-边-端 ”融合计算,基于云网边端融合计算的算力服务生态正逐步形成,对车企发展提出了新的要求:高度聚焦用户感知赛道,精细化分析应用场景,深挖用户潜在需求。 结合车辆发展趋势及行业经验,集成云端AI和Big Data等前沿技术,以车云一体化为抓手实现产品深度赋能。 通过车云一体化的数据闭环、联动稳定的云端升级能力,形成准确用户认知,实现“千人千面”的应用场景。
也让企业的“上云”业务需求面临极大的挑战,云-边-端协同模式也逐渐衍生出来并演变为主流趋势。 云边端协同有哪些优势? 云边端协同的发展趋势?在国际上,亚马逊、微软和谷歌等云计算巨头以及国内的阿里、腾讯、百度、华为、中兴通讯等巨头也推出了相应的边缘计算产品,并逐渐向云-边-端融合的趋势发展。 但是,云-边-端融合相关技术目前仍处于探索成长阶段,相关成熟应用并不多见,尚存在体系架构设计、资源优化模型、服务协同方法等多方面待进一步研究解决的关键技术难点。 TSINGSEE青犀视频基于多年的音视频流媒体领域经验,正在积极研发面向云-边-端融合的智能分析网关及云边端融合的智能协同平台,积极探索研发支持多路接入的智能分析网关,具备较强的云-边-端协同能力,要求利用人工智能
将AI智能分析网关接入到EasyCVR视频融合云平台,通过对监控场景中的视频图像进行智能识别与分析,可提供人脸、人体、车辆、烟火、物体、行为等识别、抓拍、比对、告警等服务,支持对场景中的异常及违规现象进行精准研判 依托云、边、端协同的架构优势,该视频智能分析方案可汇聚、融合所有数据,对全业务链进行智能调度、资源整合与运维、AI算力分发,解决视频监控场景中海量设备接入、边端资源异构、网络通信不稳定、统一运维管理复杂等难题 今天和大家分享一下EasyCVR视频融合平台的分辨率优化过程。当用户电脑选择的分辨率太低,会导致在使用平台时,一部分页面无法显示出来(平台不能完整展示)。 EasyCVR视频融合云平台具有海量数据汇聚与管理、智能分发、计算、存储等能力,平台基于云端的服务能力,可对边缘端、设备终端等实现云、边、端协同管理、资源调度、算力分配等。
一、建设目标 推进算网融合,支持经济社会数字转型、智能升级、融合创新,以5G、云计算、人工智能等应用需求为牵引,通过云、边、端的高效协同,提供算网一体化的新型算力基础设施及服务。 提升算力平台能力,打造统一算力基座 1)加快云原生与虚拟化的技术体系的归集及基础能力融合,作为算网融合新型基础设施的主承载基座。 2)统筹提升算力算效水平,强化算力适配供给 开展GPU、FPGA、ASIC等高性能算力在云服务平台的适配接入和对外服务封装,满足高并行、高密度的异构加速计算需求,推进算力网络智能化、线上化、云边端一体化 建设低时延、高质量的算力承载平台 在EasyCVR视频融合平台,提供基于全局数据的云服务,通过汇集、融合所有的数据,并提供相关的计算、网络、存储、安全资源等,实现对全业务链的智能调度、资源整合与运维、AI EasyCVR视频融合平台具备海量数据汇聚处理、高稳定性、高灵活性、高可用性等特点,同时基于云、边、端架构闭环式协同管理,让海量数据实现存储、处理、智能分析、辅助决策和快捷执行,满足用户的敏捷部署、智能分析
当企业希望从云端掌控生产设备全局信息,实现端边云融合时,此类系统更容易成为障碍。 1 全场景协同、端边云融合,为何更需要底层创新? 结合当下操作系统行业的背景,可以看出 openEuler 社区意图通过底层技术创新来打通端边云融合瓶颈,真正实现全场景高效协作,帮助企业实现数字化转型大目标。 随着越来越多的合作伙伴发布嵌入式商业发行版,openEuler 的端边云融合优势将在嵌入式设备中发挥更大的作用。 社区合作伙伴的成果也是 openEuler 社区欣欣向荣的发展局面的一个侧影。 分布式总线与分布式数据管理为 openEuler 的云边端融合能力打下了基础,新研发的混合部署框架则为 openEuler 提供了工业场景刚需的软硬实时性能;JailHouse 工业级虚拟化方案的引入让
SDX是Software Defined X 的缩写,即软件定义范式,强调的是软件的意义及系统的融合。 我们可能需要特别关注物理系统和网络空间之间的关键边界、运营技术(OT)和信息技术(IT)之间的关键边界技术,在这些边界上,需要充分展开具有挑战性的文化和技术融合。 数字转型的成功在很大程度上取决于这个复杂的融合过程。 数字转型的主要目标之一是将人类和“智能”应用到管理、优化和控制接触物理世界的系统。 尤其在工业领域,正在经历一个向新电子架构的过渡,继承了在云计算、软件定义网络、云存储和对象数据库、大数据、软件部署和编排以及安全等方面所经历的一些技术进展。 e.端到端管理和编排:一种通用的软件部署模型,从云到端点,实现了一个现代的CI/CD软件生命周期管理。
而云边协同是边缘计算中非常重要的特性,那么为何云边协同那么重要? 中心云与边缘云的关系如下图,中心云管理多个边缘云平台,工业PC和大量的网关,而边缘云则通过边缘网关接入各种设备、传感器等。 ? 上述是边缘云和中心云的各自的特点,云边协同则包含了计算资源、安全策略、应用管理、业务管理等方面的协同。 对于边缘计算来说,不同于把大量的资源整合的云计算平台,边缘云平台更是一个分布式的平台,因此云边协同的特征是边缘计算的主要特征之一,而云边协同包含了各种协议和功能,涉及到了云计算的方方面面,因此在边缘计算的发展过程中 ,云边协同的功能开发成为了主要的开发工作之一。
而云边协同是边缘计算中非常重要的特性,那么为何云边协同那么重要? 中心云与边缘云的关系如下图,中心云管理多个边缘云平台,工业PC和大量的网关,而边缘云则通过边缘网关接入各种设备、传感器等。 ? 上述是边缘云和中心云的各自的特点,云边协同则包含了计算资源、安全策略、应用管理、业务管理等方面的协同。 对于边缘计算来说,不同于把大量的资源整合的云计算平台,边缘云平台更是一个分布式的平台,因此云边协同的特征是边缘计算的主要特征之一,而云边协同包含了各种协议和功能,涉及到了云计算的方方面面,因此在边缘计算的发展过程中 ,云边协同的功能开发成为了主要的开发工作之一。
云计算正在向一种更加全局化的分布式节点组合形态进阶,而边缘计算是云计算能力向边缘侧分布式拓展的新触角。随着城市建设进程加快,海量设备产生的数据,若上传到云端进行处理,会对云端造成巨大压力。 USB、HDMI、RS-485、RS-232、SATA、自定义I/O等多种接口;6)移植:支持Caffe/TensorFlow/PyTorch/MXNet/Paddle Lite等主流深度学习框架;7)云边协同 在场景应用中,通过将现场监控设备采集的数据经AI边缘智能分析后,分析结果统一汇聚至EasyCVR视频融合平台,并进行数据分析与统计的可视化结果展示,快速构建基于AI视频识别技术的大数据智能分析与安全风险预警平台 与此同时,站在全局角度思考,中心云资源的分配、算力协同与调度等,也需要云边协同的模式进行部署与展开。 EasyCVR系统与AI智能分析网关在项目的部署中,则采取了这种云边端协同的模式,将云计算的能力下沉到边缘侧、设备侧,并通过中心进行统一交付、运维、管控,并且这种模式已经运用在了智慧城市、智慧交通、智慧工厂
流媒体行业皆知,云端边融合是AI安防市场发展的主流方向。 TSINGSEE青犀视频也提出了“云边端”融合AI智能分析的安防视频架构,所谓的云端边融合即是通过边缘计算将人脸识别、物体识别等视频结构化、智能化应用的算力分摊至前端,从而解决由于数据量暴涨给传输和云端处理带来的压力 实际上,云边融合也是智能计算前移的过程,这必须对前端设备的算力提出更高的要求,而随着AI芯片算力的日益增强,边缘计算能力将得到重大突破。 ,这意味着,端和边必须先集成,形成整体的边缘智能计算,然后再和云端计算相结合,构建一体化的云边端架构。 云边端集成是AI安防产品发展的必然趋势,而后端云化以及与端边融合的一体化系统架构,则无疑是未来AI安防市场发展的必然走向,也将是AI安防工程化的主旋律。
EasyCVR视频融合平台基于云边端协同架构,具有强大的数据接入、处理及分发能力,平台支持AI算力接入,借助AI智能分析网关,可以实现多种场景下的AI智能检测与识别,比如:人脸检测/识别、车辆检测/识别 基于智能分析网关+EasyCVR视频融合平台的AI视频智能分析能力,可实现对监控场景中的视频图像进行智能识别与分析,并提供人脸、人体、车辆、烟火、物体、行为等识别、抓拍、比对、告警等服务。
尤其是在AI人工智能技术进一步落地应用的趋势下,基于云边端深度融合与协同的“AI+”模式,在满足用户对视频服务的智能识别需求上,让算力资源得到最优化分配、调度和利用,已经成为当前行业与技术发展的新趋势。 2)分布式资源灵活调度不再局限于中心云的单一算力资源池,通过跨云、边、端的分布式协同应用,将计算、处理、存储、智能分析等能力实现灵活调度,并能支持和中心云数据互通、稳定交互,支撑不同场景下的数据智能应用 通过云边端架构下的数据互联互通、开放共享,将云端的服务能力下沉到边缘端与设备端,同时结合AI人工智能,以及灵活调配AI算力,不断赋能边缘端,将AI能力扩展到更贴近用户的使用场景中。? 4)视频汇聚能力EasyCVR视频融合平台支持海量视频汇聚与管理、处理与分发、智能分析等视频能力。 基于云边端一体化管理,平台可支持视频实时监控、云端录像、云存储、回放与检索、智能告警、平台级联、服务器集群、轨迹跟踪等功能。?
本届大会以“人机物融合·端边云协同”为主题,开设8场主题演讲、14个产业界报告、3场圆桌论坛,多位 AIOT 领域践行创新的专家学者围绕边缘计算、机器人、自动驾驶、无人系统、5G 物联网、计算机视觉等多个智能物联网热点应用与核心技术 黄铠教授在报告中指出,虽然数字经济出现多年,但仍然需要完善,其发展离不开新工科教育、基础管理建设、可持续生态系统的打造,以及同其他多个科技领域的融合互动。 此外,华为云主任研究工程师郑子木、中奥智能工业研究院(南京)有限公司董事长王国栋、苏州数设科技有限公司总经理牟全臣,以及 SIGBED China 新星奖获得者南京大学刘佳、山东大学胡鹏飞也带来了精彩的报告分享
白皮书由信通院牵头联合三大运营商和阿里、华为、新华三等几大公司联合编写,云计算开源产业联盟发布。以下为白皮书第一部分“云边协同的新浪潮。” “云-边-端”形态。 ,在边缘计算平台上提供多种 高算力的应用的资源; 数梦工场推出统一的DT资源管控产品,提供 “两领域+三形态”的融合管控能力,覆盖中心节点领域、边缘节点领 域以及云平台、数据中台、业务中台三种形态的统一管控 ; 新华三推 出了超融合边缘计算产品UIS-Edge,支持多种硬件形态与部署方式, 将云原生能力延伸至边缘,提供完善的设备接入、边缘计算及云边协 同能力,为企业提供一站式云边端融合解决方案。 图 3物联网场景下云边协同示意图 云计算与边缘计算需要通过紧密协同才能更好地满足各种需求 场景的匹配,从而最大化体现云计算与边缘计算的应用价值。
问题 如何按照方向,进行数据的融合? ? 想法来源于某技术交流群,有朋友问起,如何可以进行这些数据的合并? 这些数据,其实就是互联网电子地图中的建筑物轮廓,由于切片等原因,下载的数据都是分块的,而在实际使用中往往需要进行融合。 解决思路 思路如下: 待融合数据记为S_data: 1、求取S_data的公共边,结果记为a; 2、求取公共边的角度,结果记为b; 3、根据角度,求取b中每一个要素的正切,绝对值小于1的要素(调整为大于 1即可横向合并),并对每个要素赋予唯一编号,结果记为c; 4、取c的中点,结果记为d; 5、使用空间连接,将d的编号赋予S_data,使S_data基于这一分组进行融合,结果记为e; 6、再次求取e的公共边 ,使用空间筛选,过滤出d中未使用到的点,结果记为f; 7、使用空间连接,将f的编号赋予e,使e基于这一分组进行融合,结果记为g; g就是融合后的数据,记为D_data,也就是下面动图中的结果数据。
作者/古强 Stream Stream是KubeEdge中提供云边隧道的模块,目前支持ApiServer向Kubelet发起的containerLog、exec和metrics请求。 云边隧道基于WebSocket建造,支持双向传输和流式传输。 架构 整个Stream功能由CloudStream和EdgeStream两部分组成,从名字便可以看出它们各自运行在何处。 ? 所有向边缘节点DaemonEndpoint的请求都会被转发到CloudStream的StreamPort,经过内部处理后从边缘节点与TunnelPort建立的云边隧道到达EdgeStream,由EdgeStream Message:云边实际传输的数据封包,由连接ID、数据类型和数据三部分组成。 每个云边隧道由一个Session和一个TunnelSession配对组成,提供网络传输,上层只需收发Message数据包而无需关注传输细节。
大数据时代,是以数据为中心,设备和应用围绕着数据转,这个时候需要的是融合。 就像人类历史的发展一样,云计算技术发展符合合久必分,分久必合的规律。每一次的分合都是逐级进阶。 除了云计算开源技术之间的融合,云计算技术与其他开源技术传统软件也在融合,云计算与互联网的边界越来越模糊。 目前混合云是一个结合比较完美的方式,混合云也从另一个层面反应了业务和的融合。而互联网与行业大数据的融合也是业务和应用深度融合的反应。 业务的融合 互联网与云计算行业的界限越来越模糊,大数据是产物也是衔接点,容器技术将应用轻化会加速融合进程。 目前一些云计算公司尝试开发自动化运维工具解决,但我认为不认识到开发与运维融合性,始终是治标不治本的,开发的时候就要想到运维,运维要理解开发。
SuperEdge 是 Kubernetes 原生的边缘容器方案,它将 Kubernetes 强大的容器管理能力扩展到边缘计算场景中,针对边缘计算场景中常见的技术挑战提供了解决方案,如:单集群节点跨地域、云边网络不可靠 云边隧道的架构与原理 在边缘场景中,很多时候都是单向网络,即只有边缘节点能主动访问云端。云边隧道主要用于代理云端访问边缘节点组件的请求,解决云端无法直接访问边缘节点的问题。 架构图如下所示: ? HTTPS 模块小结 HTTPS:负责建立云边 HTTPS 代理(eg:云端 kube-apiserver <-> 边端 kubelet),并传输数据 作用与 TCP 代理类似,不同的是 tunnel-cloud 小结 TCP:负责在多集群管理中建立云端与边端的 TCP 代理 云端组件通过 TCP 模块访问边缘端的 Server,云端的 TCP Server 在接收到请求会将请求封装成 StreamMsg 通过云边隧道 合作与开源 基于开源的 Tunnel 实现的云边隧道已上线到边缘容器产品 TKE Edge,欢迎大家体验。