: ---- 前言:12月19日,在 Cloud Native Days China -云原生AI大数据专场,腾讯技术事业群高级工程师薛磊发表了《云原生AI平台的加速与实践》主题演讲。 ? 演讲主要包含五部分的内容: Kubernetes介绍 AI离线计算 AI场景下Kubernetes的不足 Kubeflow 星辰算力平台的架构 Kubernetes介绍 K8s是生产级的容器编排系统,它也是云原生应用最佳的一个平台 因此,对于我们而言在AI平台上面也可以基于K8s的架构进行额外的开发。 AI离线计算 ? 典型的AI场景 ? ? 支持所有流行语言,如 Python、C++、Java、R和Go 可以在多种平台上工作,甚至是移动平台和分布式平台 2)PyTorch PyTorch是一个开源的Python机器学习库,基于Torch, 提供TensorFlow原生PS-worker架构 的多机训练 推荐将PS和worker一起启动 通过service做服务发现 在社区中最早期的Operator 星辰算力平台的架构 它为私有云的一个离线计算平台
给近半年做的云原生AI算力平台做一个回顾, 思考和实践参考了云溪大会上的分享:为大模型工程提效,基于阿里云 ACK 的云原生 AI 工程化实践[1],全文很长,我这边做一个牵引和解读。 1. 大模型带来的挑战 AI有工程化的要求,同时也对基础设施提出挑战。 3. 云原生AI的能力 最近在做的“AI大模型基础设施”, 宏观目标也是帮助AI工程从小作坊向端到端云原生解决方案演进。 云原生AI的架构实践 我们的云原生AI算力平台, 有参考上面的实践,针对企业业务的现状和侧重, 技术调研上做了调整和裁剪。 kubeflow[2]是一个包含多个开源项目的AI生态组合, kubeflow以Kubernetes为底座,目标是成为部署、扩展和管理AI平台的系统。 糟糕,我实现的k8s informer好像是依托答辩 参考资料 [1] 为大模型工程提效,基于阿里云 ACK 的云原生 AI 工程化实践: https://developer.aliyun.com/article
2018 年底,vivo AI 研究院为了解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点,着手建设 AI 计算平台。 经过两年的持续迭代,平台建设和落地取得了很大进展,成为 vivo AI 领域的核心基础平台。 架构设计 按照设计思路,如下是我们自动化设计的简单架构图,AutoRke 自动化平台是我们建设的目标,底层操作 k8s、calico 和 docker 等云原生基础组件的变更,上层对接 vivo 基础平台完成同步数据和流程控制等功能 云原生基础:Autorke 自动化平台管理的目标对象:k8s、calico、docker。在物理机上安装配置 docker 环境,使用 docker api 接口部署和管理 k8s 组件。 白屏化阶段实现变更云原生组件平台化,制定标准流程,降低变更门槛和风险。
在云原生 Cloud Native 的大潮中,.NET5也是最具优势的,因为足够的轻巧和高效!.NET5是容器化+微服务架构最佳选择。 ? 4、容器感知,低配运行 .NET5 默认更好的支持Docker资源限制,官方团队也在努力让.NET5成为真正的容器运行时,使其在低内存环境中具有容器感知功能并高效运行,远超其他平台。 关于.NET5 的强大功能、超前性能及优势,请参考我的博客: .NET平台系列13:.NET5统一平台 .NET平台系列14:.NET5中的新增功能 .NET平台系列15:.NET5中的吊炸天性能改进 .NET平台系列16:.NET5/Asp.Net Core 在全球Web框架权威性能测试 Web Framework Benchmarks 中的吊炸天表现 .NET平台系列17:.NET5中的 ARM64性能 .NET平台系列18:.NET5的超强优势 ---- 参考文献: https://www.cnblogs.com/IT-Evan/p/13876788.html https:/
一、产品定位与核心亮点 腾讯云TAPD(Tencent Agile Product Development)是一款基于容器化技术的云原生研发协作平台,核心定位为面向开发团队的高性能、智能化研发基础设施。 其差异化优势在于深度融合项目管理(需求/任务/缺陷跟踪)与工程实践(代码管理/持续集成/自动化测试),通过云原生架构与AI能力提升研发全流程自动化与协作效率。 自动化与AI能力:自动化规则引擎、AI代码助手、流程阻塞自动预警。 数据分析模块:研发效能度量看板、业务-研发数据整合分析。 计算资源:云原生构建CPU资源 6,400核时/月,云原生开发资源 64,000核时/月。 AI辅助开发:集成AI代码助手,提供智能代码建议与缺陷检测。 荣誉背书 (注:原文未提及具体荣誉奖项,此部分暂缺) 四、典型案例 (注:原文未提供具体客户案例名称及详细背景,仅强调平台能力。
小米作为全球知名的科技巨头公司,已经在数百款产品中广泛应用了 AI 技术,这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些 AI 应用主要都是通过小米的深度学习训练平台完成的。 另外,随着公司云原生化进程的推进,越来越多的应用从物理机迁移到容器平台,这进一步增加了对文件存储和多节点共享访问数据的需求。 我们预期中的存储平台需要具备如下特性: 功能丰富,拥有完善的存储功能,支持 POSIX 等多种访问协议,同时具备易用性,面向云原生平台设计。 基于这些产品能力及云原生 CSI Driver 的功能,我们已经对接了小米容器平台及机器学习 PaaS 平台,业务根据需要选择不同的集群与存储类型使用我们的 JuiceFS 文件存储服务。 另外,对于更底层的 Kubernetes 平台,我们也为该服务提供了静态卷和动态卷两种接入方式。目前,我们的大部分服务都是以原生方式提供的。
容器封装不同版本的Python包(如TensorFlow 1.x/2.x) • 通过Kata Containers实现硬件级隔离,保障生物信息学等敏感数据安全 • 技术实现:某容器管理平台通过 集群与公有云算力动态调配 • 调度算法:采用DRF(Dominant Resource Fairness)算法实现多维度资源调度,任务排队时间减少58% 工具可扩展性 • 通过Helm Chart规范AI amp训练效率: • 8*A100环境下线性加速比达91% • 单epoch耗时从112s降至13s(吞吐量提升8.6倍)三、典型场景技术指标场景1:智能教学实验室 • 环境构建:通过容器编排工具在5分钟内创建
用户可以基于AnySDK的“插件自助开发平台”自己完成各种插件的开发,形成自己的打包平台,让用户实现:不用开发工具,只做插件便可以实现自己的渠道包制作工具集。 AnySDK:原生、H5、VR、三大平台快速接入 AnySDK在国内首次实现了快速集成SDK发布到原生、H5、VR三大平台,帮助开发者赢在起跑线上。 目前AnySDK已支持业内所有主流H5渠道,这些渠道的流水约占H5渠道80%以上。这就意味着,致力于H5游戏市场的开发者,可以通过AnySDK,轻而易举地触达巨大的H5流量宝库。 它将帮助用户能快捷的把VR游戏发布到VR各个平台,当前支持平台有GearVR,、Deepoon、Oculus、GoogleVR(包括Daydream和Cardboard)等主流平台。 高效、安全、开放,兼具人性化、贴心的服务模式,AnySDK对行业的意义已经不止于一款工具,它将成为越来越多开发者坚实的后盾,并在原生、H5、VR三大领域全面发力、推动游戏行业生态良性循环发展。
AI原生开发范式的核心概念 AI原生开发范式(AI-Native Development)指以AI为核心构建应用程序的设计方法,其特点包括数据驱动、模型即服务(MaaS)、自动化工作流和持续学习。 与传统开发相比,AI原生应用将机器学习模型作为基础组件,而非附加功能。 典型行业案例分析 金融领域-智能风控系统 某银行采用AI原生架构重构信贷审批流程,实现实时风险评估。 系统通过API调用深度学习模型分析用户交易数据、社交网络信息及第三方征信数据,审批响应时间从24小时缩短至5分钟,坏账率下降30%。 医疗领域-影像辅助诊断 一家医疗科技公司开发AI原生影像分析平台,整合多种医学影像模型(CT、MRI)。 平台支持DICOM标准,通过微服务架构实现模型热更新,肺结节检测准确率达到96%,较传统软件提升20%。 零售领域-动态定价引擎 某电商平台部署强化学习定价系统,每小时处理10TB用户行为数据。
跨平台开发鸿蒙原生应用 uniapp for HarmonyOS uni-app uni-app 是一个使用 Vue.js[1] 开发所有前端应用的框架,开发者编写一套代码,可发布到 HarmonyOS ,且能达到原生性能。 Flutter 也可以与平台原生代码进行混合开发。在全世界,Flutter 正在被越来越多的开发者和组织使用,并且 Flutter 是完全免费、开源的。 原生性能:React Native 应用程序的业务逻辑是使用 JavaScript 编写的,但它可以调用原生平台提供的 API 和使用原生 UI 组件。 OpenHarmony 适配代码:接收并处理 React Common 传过来的数据,对接原生的代码,调用 ArkUI 的原生组件与 API。
对于系统开发人员来说(比如云数据库,云 AI 平台),云原生的趋势也会产生相应的影响。 具体的例子比如我们可以通过用户的数据查询看到经常使用的过滤维度,来重新安排数据的排序和分区,这样在同样的数据量情况下,系统可以花更少的计算资源来完成查询,增加系统的利润 :) 云原生+AI 最后再来看下跟 AI 相关的部分。 而前面讲的“云原生语言”,则更关注在程序具体执行层面的关注点分离。 把两者结合起来看,云原生时代的 AI 平台开发会是一片巨大的未开垦之地,对于云和算法各自都有很宽很长的路可以走。 目前云原生跟 AI 结合的一个比较好的学习样例是 Kubeflow,之前春节期间读了一本《Kubeflow for Machine Learning[3]》,感觉收获还是挺多的,如Istio,CRD的应用等
今天继续聊AI和大模型方面的话题。即什么是AI原生,如何构建一个真正意义上的AI原生系统? 对于这个问题,我们先看下AI大模型自己给出的答案。 AI原生-大模型原生+知识原生+价值原生 一个系统能够称之为叫AI原生系统呢?这里面核心的一个关键就是整个系统核心的能力是架构在底层的AI大模型和底层的知识层上面的。 你如果满足这么一个条件,那你们做一个系统就可以叫做AI原生系统。 我原来谈AI原生的时候谈到过,AI原生核心是知识原生,为何你当前企业有数据库数据,有资料文档,不能快速的构建AI原生应用? 注意这个说法只解决了AI原生应用的大模型原生问题,并没有解决知识原生的问题。如果按这个说法所有的AI智能体应用都是AI原生应用,但是我的理解,AI原生应用的核心重点应该是在知识原生上面。 至于我个人的想法就是至少在3~5年的时间都很难真正达到一个AI原生应用的这么一个理想的状态。
然而,如何构建一套完整的云原生 Serverless 平台,依然是一个需要考虑的问题。 因此,建设私有化的云原生Serverless平台需要企业在技术、资源、人才和经济等多方面进行全面的规划和考虑,确保平台的稳定性和可持续性。 一般情况下,我们认为一个云原生的 Serverless 平台应该提供以下能力: 弹性伸缩:平台应该支持应用自动扩缩容,以便应对变化的负载和流量。 Rainbond 作为一个开源的云原生应用管理平台,能够帮助企业应对建设私有化的云原生 Serverless 平台的难点。 写在最后 通过借助 Rainbond 建设私有化的云原生 Serverless 平台,企业能够更好地应对技术难点,提高平台的稳定性和可持续性。
##摘要 随着Data+AI融合成为企业数字化核心趋势,大数据平台需具备AI原生能力以应对智能化挑战。 本文结合行业趋势与腾讯云数据湖计算DLC的实践,解析五大关键AI原生能力,并推荐腾讯云领先的湖仓一体解决方案。 ##导语 2025年,大模型与数据技术的深度融合正重塑企业数据平台架构。 Gartner报告指出,湖仓一体(Lakehouse)已成为数据平台新标准,而AI原生能力是其核心竞争壁垒。 作为国内唯一入选2025年Gartner《数据湖仓平台市场指南》的厂商,腾讯云数据湖计算DLC如何通过AI原生设计助力企业降本增效?本文将深入探讨。 目前,腾讯云正推出新客可抢购4折现金券以及计算引擎5折优惠,可访问官网了解更多技术细节与实战案例。
---- 本篇带来 5 个 “罕见的” JavaScriot 原生 API,谁还不是个 API 调用大师呢?
而进入2025年后,主导行业话语权的关键词已悄然换成了“智能驾驶”“AI大模型”“车载智能体”。 于是,“汽车智能体”(AI Agent)从幕后走向了台前。它不是传统意义上的语音助手,而是一个真正的“思考机器”。 理想试图将生成式AI融入车机,让车变得“更会聊天”;华为则依托鸿蒙生态,打通“人-车-家”的设备联动。它们无疑让车变得更聪明,但也带来一个新问题——生态的“围墙花园”。 以金智维Ki-AgentS为代表的平台化智能体方案,正代表了这个方向。它并非从车机语音另起炉灶,而是将其深厚的企业级智能体平台能力延伸至汽车座舱,从一开始就强调任务执行与生态兼容。 这也是像金智维这样的企业级智能体平台,在汽车领域迅速受到关注的核心原因。这一模式的好处是显而易见的:灵活与开放。
而随着云原生(弹性伸缩、容器化、微服务架构)的普及,以及AI(智能自动化、故障预判、效能分析)的深度渗透,DevOps平台不再是简单的 “工具集成器”,而是要具备 “云原生适配能力” 和 “AI 驱动的智能决策能力 因此,企业亟需一份清晰的DevOps平台推荐逻辑 —— 既要匹配云原生与AI的核心需求,又要贴合自身业务规模与技术生态。 本文将结合云原生与AI的核心需求,对比主流竞品,给出可落地的选型建议与平台推荐方向。01. 新时代DevOps平台的核心能力要求在云原生与AI的浪潮下,一个优秀的DevOps平台不应仅仅是工具的集合,而应具备以下关键能力:1)云原生基因无缝集成 Kubernetes:平台需原生支持K8s,提供从部署 在云原生与AI的浪潮下,DevOps平台的边界正在不断扩展。未来理想的平台,必然是既能提供开箱即用的一体化便利,又能通过开放API和AI智能实现高效、自主、安全的软件交付。
五个生成式 AI 推理平台,可使用开放式 LLM,如 Llama 3、Mistral 和 Gemma。有些还支持针对视觉的模型。 译自 5 Open LLM Inference Platforms for Your Next AI Application,作者 Janakiram MSV。 虽然 Azure OpenAI、Amazon Bedrock 和 Google Cloud Vertex AI 等云平台是显而易见的选择,但有一些专门构建的平台比超大规模平台更快、更便宜。 除了令牌费用外,在线模型每千次请求还会产生 5 美元的固定费用。 3. Fireworks AI Fireworks AI 是一个生成式 AI 平台,使开发人员能够为其应用程序利用最先进的开源模型。 5. Nvidia NIM NVIDIA NIM API 提供对各种经过预训的语言模型和其他 AI 模型的访问,这些模型经过 NVIDIA 的软件堆栈的优化和加速。
关于FATE FATE 是一个联邦学习的开源项目,旨在提供一个安全的计算框架来支持联合AI生态系统。它实现了多种安全计算协议,以实现符合数据保护法规的大数据协作。 Kubernetes 是目前最流行的基础设施平台,大量的实践证明,Kubernetes 很适合作为企业内部运维大规模分布式系统的平台。 我们团队也推荐 Kubernetes 作为运行 FATE 联邦学习集群生产环境的平台。KubeFATE 提供了在 Kubernetes 部署运维 FATE 的解决方案。 KubeFATE 主要由 VMware 中国研发中心云原生实验室、微众银行、社区用户共同参与开源贡献。 限于篇幅,更多关于KubeFATE 部署 FATE 配置参数的详细介绍,请查看这篇文章:联邦学习平台 KubeFATE 部署 FATE 的配置说明,或者点击阅读原文。
云原生架构下的日志平台方案 作者简介 Ford, 云原生布道师,云原生实验室(CloudnativeLab.COM)创始人 专注于云计算领域数年,目前主要从事容器云平台的建设,推进各类基础设施服务的云原生化 同时日志系统提供的也不再局限于应用系统的诊断,还包括业务、运营、BI、审计、安全等领域,日志平台最终的目标是实现公司在云原生架构下各个方面的数字化、智能化。 3、日志平台的运维代价,运维一套动态环境下的日志采集和日志管理平台是复杂和繁琐的,日志平台应该SaaS话,作为底层基础设施,可一键部署和动态适配。 以下整理各方案的架构图: 图:方案1,应用内置采集组件,异步采集 [_u65B9_u68481_uFF0C_u5E94_u7528.png] 图:方案2,Pod伴侣容器,Sidercar模式 [_u65B9 Parser docker DB /var/log/flb_kube.db Mem_Buf_Limit 5MB