- 综合排序
- 最热优先
- 最新优先
- 来自专栏RTSP服务器
AI时代底层技术链：GPU、云原生与大模型的协同进化全解析
大模型训练一次要烧掉上亿人民币？ 云计算巨头都在抢「算力调度业务」？ 各国发布「AI 国家战略」？ 看新闻仿佛置身一场术语大混战： AI、大模型、GPU、云原生，到底在说啥？ 是彼此替代？ 高效烹饪体系算力底座餐厅管理与食材供应系统云原生（Cloud Native）流程调度算力管理基础设施一句话总纲： GPU 提供算力 → 云原生调度算力 → 大模型实现智能 → 人工智能走向真实世界价值落地 技术链路全景图用一句最清晰的话总结： 想要 AI 改变世界 → 需要大模型 想要大模型跑起来 → 需要海量 GPU 想要 GPU 集群不崩溃且不烧钱 → 需要云原生 形成如下技术金字塔结构：它们不是并列概念 因为每一层都体现国家竞争力与产业控制力：层级决定因素产业战略价值GPU制造能力、供应链、安全可控卡脖子最严重、最稀缺资源云原生算力调度能力、规模管理算力是否可成为基础设施大模型算法积累与数据规模通用智能竞争壁垒 AI 应用行业落地与生态真实生产力转化一句话： 谁掌握 GPU、云原生和大模型，谁就能定义 AI 的未来 结语：时代的底层规律当我们仰望人工智能的璀璨时，别忘了它脚下的地基： GPU 承担算力之力 云原生
76010编辑于 2025-12-08 - 来自专栏科技云报道
云原生是大模型“降本增效”的解药吗？
那么，云原生是如何帮助大模型降本增效，在这个过程中又遇到了哪些挑战？ 云原生成为大模型的标配 近年来，容器和Kubernetes已经成为越来越多AI应用首选的运行环境和平台。 随着大模型浪潮的到来，以云原生环境运行AI应用正在变成一种事实标准。 弹性伸缩与资源管理 大模型训练往往需要大量的计算资源，而云原生环境通过容器化和编排工具可以实现资源的弹性调度与自动扩缩容。 分布式计算支持 云原生架构天然支持分布式系统，大模型训练过程中的并行计算需求可以通过云上的分布式集群轻松实现，从而加速模型收敛速度。 大模型对云原生能力 提出新挑战 尽管云原生对于大模型有着天然的优势，但是面对LLM、AIGC这样的新领域，依然对云原生能力提出了更多挑战。 ，统一管理、运维和分配，通过弹性和软硬协同优化，持续提升资源利用率。
54810编辑于 2024-02-26 - 来自专栏腾讯云原生团队
腾讯云原生首发容器服务3大能力！
随着用户需求的升级和云原生技术的发展，云原生已成为企业应用上云降本增效的利器。 会议开场，腾讯云原生产品中心架构总监 陈浪交 讲述了腾讯云容器服务 TKE 过去几年的发展历程。 基于以上三大类节点管理能力，腾讯云 TKE 进一步提出了集群管理的范式创新，即“一种集群管理任意节点”。 值得一提的是，在助力企业上云“降本增效”的过程中，腾讯云还积极参与 FinOps 的工作，牵头制定了 FinOps 能力成熟度模型，推动联合国内 40 家企业成立了 FinOps 产业联盟，并发布了国内首个云原生成本优化开源项目 该项目也是首个获得国家级科技奖的云原生降本工具。 在企业数字化转型中，云原生技术成为降本增效的驱动力。
1.2K20编辑于 2022-12-10 - 来自专栏有文化的技术人
OPA—云原生策略模型
OPA 主要为了解决云原生应用的访问控制、授权和策略。OPA 是通用的，与平台无关。请求和响应是以 JSON 格式发送的。 OPA将决策与策略执行解耦。 简而言之，Kubernetes API 提供了一个强大的、可扩展的、统一的资源模型，但也正是这个资源模型使得 RBAC 对于很多用例来说过于粗粒度。
95710编辑于 2023-12-11 - 来自专栏AI科技评论
从炼大模型到大小模型协同进化！产研界联合发布端云协同平台“洛犀”
该平台提供一站式的端云协同模型训练、部署、通信能力，致力于促进大小模型协同进化，构建充分利用大模型应用潜力的新一代人工智能体系。 2022达摩院十大科技趋势指出，大模型参数竞赛正进入冷静期，大小模型将在云边端协同进化——大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效，让大模型的能力持续强化 其中，平台在端侧以python/js package的形式提供服务，包含表征、文本理解、图计算等能力；在端云链路上，平台提供实现端云协同关键的通信能力，包括方案分发、数据通信链路；端云协同的模型训练累积沉淀在云端 此外，团队还借助洛犀完成了图神经网络、排序模型、强化学习等技术在端云协同范式下的部署。 浙江大学上海高等研究院常务副院长吴飞教授如此形容大小模型间的辩证关系。庞大的须弥山如何纳入极微小的种子中？ 达摩院智能计算实验室负责人周靖人介绍，团队将进一步探索端云协同框架下端模型和云模型的协同机理，并完善算法方案和业务实践。洛犀平台未来计划对开发者开放，让大小模型协同进化的时代加速到来。
1.8K10编辑于 2022-03-03 解锁云原生后端开发新姿势：腾讯云大模型API实战攻略
云原生后端与大模型融合的开篇之章 在数字化浪潮汹涌澎湃的当下，云原生后端开发已然成为构建高效、灵活且可扩展应用的关键基石。 总结与展望 在本次探索云原生后端与腾讯云大模型 API 融合的旅程中，我们深入了解了云原生后端开发的核心技术，包括微服务架构、容器化技术、服务发现与配置管理以及 Kubernetes 编排等，这些技术共同构成了云原生后端的坚实基础 通过实际的代码实战，我们成功地基于腾讯云大模型 API 构建了云原生后端服务，实现了智能问答、文档解析与信息抽取等核心功能，并将其与其他云原生组件进行了集成。 同时，云原生技术也将不断发展，为大模型的应用提供更加稳定、高效的运行环境。 总之，云原生后端与大模型技术的融合是技术发展的必然趋势，将为各行各业带来更多的创新和变革。
1.6K10编辑于 2025-03-23- 来自专栏AI SPPECH
大模型在云原生环境中的运维实践指南
引言 云原生架构已经成为现代企业IT基础设施的主流选择，而大模型技术的快速发展为云原生运维带来了前所未有的机遇。 二、大模型对云原生运维的价值 三、容器集群智能监控实践 四、Kubernetes故障智能诊断 五、云原生资源智能优化 六、大模型在云原生安全中的应用 七、实践案例与经验分享 八、工具推荐与使用指南 九 版本控制、手动同步 配置漂移检测、自动修复 二、大模型对云原生运维的价值 2.1 大模型的核心能力 大模型（如GPT-4、Claude 3、通义千问等）具有强大的自然语言理解、生成、推理和知识整合能力 自动化生成：自动生成配置、脚本和故障处理方案 2.2 大模型在云原生运维中的应用场景 大模型技术可以广泛应用于云原生运维的各个环节： 大模型在云原生运维中的应用场景 监控告警智能分析 → 故障智能诊断 安全合规保障：确保大模型的使用符合企业的安全和合规要求 人机协同：将大模型作为辅助工具，与人工判断相结合 成本控制：合理规划和控制大模型的使用成本 渐进式实施：从小规模试点开始，逐步扩大应用范围 九、
62710编辑于 2025-11-13 2025云原生大模型部署实战：基于腾讯云构建高可用推理服务
二、技术选型：腾讯云产品矩阵的协同优势大模型部署的核心是平衡性能、成本与稳定性，我们基于腾讯云产品特性设计了三层架构，各组件协同形成技术闭环：1. GPU深度优化，将Llama 2-70B模型推理速度提升3倍vLLM：采用PagedAttention技术，解决长文本推理的内存瓶颈，支持上下文窗口长度达8192腾讯云模型仓库：存储优化后的模型文件， ：通过腾讯云KMS加密模型文件，推理日志写入云日志服务（CLS）并开启数据脱敏3. ，将本地咨询请求的延迟降至50ms以内六、结语：云原生赋能大模型落地本次金融级大模型部署的成功，核心在于腾讯云产品矩阵的协同优势——EKS提供灵活的编排能力，CGP保障高性能算力，COS实现低成本存储， 对于企业开发者而言，大模型部署不再是"玄学"，而是可通过"模型优化+云原生架构+弹性策略"实现的标准化流程。
1.4K10编辑于 2025-12-10- 来自专栏云原生技术社区
AIGC时代，基于云原生 MLOps 构建属于你的大模型（上）
为了满足企业在数字化转型过程中对更新迭代生产力工具的需求，灵雀云近日推出了云原生 MLOps 解决方案，帮助企业快速落地AI技术、实现智能化应用和服务。 为什么要打造云原生MLOps解决方案？ 为了解决这些问题，灵雀云作为云原生领域领军企业，近日推出了企业级云原生 MLOps 解决方案以及其开源版本 kubeflow-chart，致力于最大程度地降低企业应用 AI 能力的门槛，使企业获得高效、 数据标注：集成 Label Studio，与 S3 存储联动，完成可视化数据标注。 8. SQL 训练：集成 SQLFlow，使用 SQL 语言完成模型训练和预测。 9. 大模型：在数据存储、分布式训练、模型存储等 MLOps 关键环节，支持大模型的存储和调用。 10. 中文界面：提供中文界面支持。 11. AML涵盖数据集管理、机器学习开发、模型训练、模型/推理服务四大功能模块，无论是传统数据挖掘机器学习，还是深度学习和超大规模语言模型、对话 AI 等应用方向，都能充分发挥其强大功能。
1.1K20编辑于 2023-08-09 腾讯云AI大模型与全域底座重构跨境货代协同网络
构建全渠道通讯协同与AI大模型矩阵 针对系统割裂与运力匹配难题，腾讯依托云底座能力部署跨境货代专属的智能化应用与PaaS平台，打通业务协同数据链： 部署全栈智能应用：集成货代智能助手（涵盖销售人员管理、 落地AI行业场景：引入知识引擎/混元大模型，将AI能力下沉至物流单据OCR、智能撮合、货运规划与无人仓储等核心业务节点，推动自动化运营。 联合 100+ 生态伙伴，形成面向快递快运、网络货运、跨境货代、物流科技四大领域的成熟行业级集成应用体系。 依托全球算力网络与原生数字底座 腾讯在基础设施广度与C端触达深度上构筑了明确的技术确定性，极大降低了跨境货代企业的研发与运维成本（Ops Cost）： 抗风险的全球云网布局：依托全球 26 个地理区域、 高性能算力底座支撑：以交通云图筑底，搭载公有云/私有云等分布式架构，并利用星脉架构AI算力平台提供高稳定性的AI演算支撑。
17210编辑于 2026-05-30腾讯构建智能座舱AI Agent：端云协同与混元大模型驱动
部署端云协同Agentic AI架构与多场景智能体 由钟学丹（腾讯智慧出行副总裁）主导，腾讯推出以“应用为中心”的出行全场景智能解决方案，核心采用Agentic AI架构，具备三大核心能力： 场景感知： 技术底座为升级的端云协同座舱大模型架构： 云端：搭载腾讯混元 Hy3模型，通过“快慢思考架构”实现同尺寸模型性能最优，推理效率提升46%（数据来源：元宝搜索业务验证），单意图识别准确率>95%，支持复杂语义解析与深度推理 智能体构建：开放混元云端大模型、端侧模型及腾讯信源（美食、票务、健康医疗等），支持接入三方开源大模型与信源。 选择腾讯的技术验证与生态优势 底层模型已获企业级验证：快慢思考架构的混元大模型已在元宝、workbuddy、ima等核心业务中落地，推理效率提升46%，上下文理解、复杂推理、Agent能力显著优于同尺寸模型 低延迟高可靠架构：端云协同架构实现单意图识别>95%、端侧延迟≤100ms，兼顾复杂场景深度理解与毫秒级响应，保障座舱系统稳定性与交互流畅度。
46300编辑于 2026-06-01- 来自专栏大模型应用
大模型应用：大模型时代的XGBoost：传统梯度提升树与大模型的协同应用.103
计算成本高：训练和推理大模型需要昂贵的GPU/TPU资源，单条推理成本远高于传统机器学习模型；3. 可解释性差：大模型的黑箱特性导致其预测结果难以解释，无法满足金融、医疗等领域的合规要求；4. 特征拼接：将结构化特征向量与大模型输出的 Embedding 向量拼接，形成融合特征矩阵；3. （无法处理文本语义）高（强语义建模）用大模型拓展特征维度3. 步骤 3：大模型 Embedding 提取这是融合的核心步骤，目标是将文本转化为语义Embedding：1. 传统模型和大模型不是替代关系，而是协同关系。以前总觉得大模型很高大上，传统模型过时了，现在才明白，能落地、能解决实际问题的组合才是最好的。
33732编辑于 2026-05-11 腾讯云AI大模型与云原生架构驱动数字能源转型的量化实践
部署“数字底座+AI生态”的新型微电网络与碳资产系统 针对上述痛点，腾讯云构建了以云原生为核心、融合人工智能与大数据的全链路解决方案，打通数据采集、分析与安全合规的业务闭环： 云原生与时序数据库（CSTDB 提升算力效率与降低运维成本的量化ROI体现 通过引入腾讯云的云原生计算资源、AI自动化与支付中台，客户在多个核心业务流程中实现了明确的量化财务与效能回报。 AI云边协同驱动场站无人化运维： 在新能源场站与电网巡检中部署AI大模型，实现巡检点位覆盖率 85%。 能仓科技通过“荷储聚合 + AI大模型数字化赋能”，实现了从“独立储能系统”到“AI大模型交易”的跃升，并成功落地多个标杆项目： 中国竹子博览园光储充示范项目： 打造“光储充放”场景，部署光伏 148.5kW 作为全球首家通过德国C5附加标准审计的云服务商、中国首家通过韩国KISMS认证的云服务商，并具备ISO 27001、ISO 27701、CSA STAR金牌等级及TISAX汽车行业信息安全AL3极高保护级别
24910编辑于 2026-05-30- 来自专栏深度学习与python
字节跳动开源 AIBrix：填补云原生大模型推理“系统层”空白
AIBrix 与 vLLM 等推理引擎深度协同，持续优化推理效率，并融合多项前沿研究成果，推动大模型推理走向更加高效、可落地的生产化阶段。 设计理念 为应对上述挑战，AIBrix 的核心理念在于通过“引擎层”与“系统层”的紧密协同，搭建一个轻量化、云原生的方案。 系统架构 AIBrix 包含控制平面组件与数据平面组件，并完全基于 Kubernetes 进行开发，采用完整的云原生设计来确保系统的可扩展性、可靠性以及资源效率。 在大模型社区，如 vLLM 正不断丰富自身 API（含 token、transcription、score 等），保持与引擎原生接口一致是一项不小的挑战。 通过与 vLLM 开源社区的深度协作，我们希望不断迭代并完善在云原生环境下的大模型部署架构，让企业能够更加轻量、弹性地构建面向生产的 LLM 推理服务。
3.6K10编辑于 2025-03-07 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】Meta Llama 3 大模型 ( Llama 3 大模型简介 | Ollama 软件下载安装 | Llama3 模型下载 | Llama 3 大模型 在线 离线 使用 )
首先 , 安装 Ollama 软件 , 到 https://ollama.com/ 下载安装 ; 然后 , 运行 ollama run llama3 命令 , 即可开始使用 Llama3 大模型 ; 一 、Meta Llama 3 大模型安装 1、Llama 3 大模型简介 Llama 3 大模型 是 Meta 公司 发布的 大模型 , Meta 公司 就是 Facebook ; Llama 3 大模型 Llama3 大模型 ; 下载的模型放在了 C:\Users\用户名.ollama 目录中 , 在我的电脑上的路径是 C:\Users\octop.ollama ; 这个模型很大 , 有 4.7 G 安装完成后的效果 for help) 二、Meta Llama 3 大模型使用 1、Llama 3 大模型在线使用 在命令行中 , 可以直接进行对话 , 下面是对话内容 : D:\Llama>ollama run llama3 for help) 2、Llama 3 大模型离线使用 Llama 3 大模型 联网时 , 可以访问云端服务 , 可以生成更加丰富的文本 ; Llama 3 大模型 在 断网后也可以使用 , 下面是断开网络后
1.9K12编辑于 2024-08-09 - 来自专栏腾讯安全
FreeBuf专访黎巍：云安全需要云原生与闭环协同
基于这一点，云原生安全理念逐渐进入人们的视野。 云原生的真正作用在于，基于云的特点，从架构、开发到部署和维护等阶段全面打造企业级云应用，形成关键链路的闭环，真正护航企业的云上安全。 能够在产业互联网这一大赛道快速布局推进，腾讯二十余年来在安全上的储备是一个极其关键的支撑。 从技术层面看，不管是哪种类型，云原生都是最有效的解决方案。云原生从字面解读可以是“生于云，长于云，用于云”，是一类技术的统称，通过云原生技术，可以构建出更易于弹性扩展的应用程序。 “我们希望基于云原生安全理念，构建一套覆盖云、管、端的闭环方案，而不是头痛医头脚痛医脚。”黎巍说。 当然，受限于资源、技术、资金等客观条件，并非所有云厂商都能够实现全栈闭环的安全能力，即使像腾讯这样的行业领导者，也必须要通过构建云原生安全生态的形式，引入生态伙伴的互补产品、以投资的方式实协同发力、或是谋求更深度的生态整合以实现技术产品和商机的共享
69030发布于 2020-09-18 - 来自专栏有文化的技术人
OAM—云原生下的应用模型
所以说，OAM 带来的改变，就是提供了一种大家都可以遵循的、标准化的方式来定义更高层级的应用层抽象，并且把“关注点分离”作为这个定义模型的核心思想。 OAM规范模型 应用定义 OAM通过一个application配置来定义一个整体的应用实例，如下： apiVersion: core.oam.dev/v1alpha1 kind: ApplicationConfiguration apiVersion: core.oam.dev/v1alpha1 kind: ManualScalerTrait spec: replicaCount: 3
1.3K20编辑于 2023-09-09 腾讯金融云：基于DeepSeek与大模型的保险行业AI协同办公实践
目前，保险企业在内部协同办公中普遍面临三大核心痛点： 知识流转断层： 各部门业务知识独立管理且格式各异，缺乏统一标准与全周期管理；传统搜索无法有效跨格式提取信息，找知识效率低。 构建基于大模型的协同办公支撑体系 针对上述痛点，腾讯结合底层大模型能力（包含接入DeepSeek及腾讯混元大模型），构建了覆盖“知识库、人才培养、视频会议”三大场景的AI办公应用矩阵： 搭建安全可控的本地 语义切分优化： 采用业内首个长文本切分大模型，将OCR识别的标题提供给切分模型进行多级语义拆分，避免语义截断，大幅提升阅读理解准确率。 沉淀全栈大模型技术底座与算法优势 在模型基础能力与算法准确性方面，腾讯云智能模型展现了技术确定性。 在国际知名的C-MTEB榜单上，腾讯云智能模型在8个中文任务中达到效果最优，其测试集准确率达到73.09%（最大长度8192），超越了同期同榜单的友商模型，为保险行业处理长文本、复杂图文混排及高并发协同办公提供了坚实的技术支撑
26810编辑于 2026-05-30- 来自专栏自然语言处理(NLP)论文速递
港大 | 发布 “点云” 大模型：PointLLM，旨在实现大模型在3D对象上的应用！
这些模型已成为多功能工具，可以充当通用接口来执行一系列复杂任务。然而，在文本任务上的应用只是大语言模型（LLMs）应用众多应用场景中的一个。 提出了PointLLM，其模型效果如下图所示： 如上图：PointLLM是一种能够理解物体的彩色点云的多模态大语言模型。它能够感知对象类型、几何结构和外观，而无需考虑模糊的深度、遮挡或视点依赖性。 然而，构建能够理解物体点云的多模态大模型，存在三个特别关键的问题：1)缺乏模型训练数据；2)构建合适的模型架构；3)缺乏全面的评估标准和方法。 模型架构如下图所示： 对于PointLLM模型训练采用两阶段策略：点云编码器和大语言模型之间的潜在空间进行初始对齐，然后对统一模型进行指令调整。 这种方法确保了3D点云的几何和外观信息与语言模型的语言功能的有效融合。 「最后，基准和评估」 作者建立了两个不同的基准：生成3D对象分类和3D对象描述，并配有多样化的评估框架，以评估模型对点云的理解。
3.3K20编辑于 2023-09-14 - 来自专栏大模型应用
大模型应用：TextRank+混元大模型：轻量化算法与大模型协同的文本摘要实践.99
粗摘结果格式化：将粗摘的句子和关键词整理为标准格式，如JSON，便于大模型理解5. 构造大模型提示词：设计Prompt模板，将粗摘结果作为上下文，要求大模型进行精炼、润色6. 调用大模型API：向大模型发送请求，传入构造好的提示词，等待返回结果7. 大模型输出精摘/润色结果：大模型返回优化后的摘要文本，语言更流畅、重点更突出8. 机器学习 3. 人类 4. 深度学习 5. 计算机3. 粗摘结果格式化粗摘结果是“核心句子列表 + 核心关键词列表”，需要格式化后传入大模型，目的是让大模型清晰理解需要处理的核心内容。 构造大模型提示词提示词是大模型输出质量的核心，初学者需遵循 “清晰、具体、有场景” 的原则。 大模型可以为关键词添加简短解释，贴合文本语境；合并语义相近的关键词；比如“机器学习”和“深度学习”可标注为“人工智能核心分支：机器学习（含深度学习）”；3.
31910编辑于 2026-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号