首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >腾讯云EdgeOne一站式边缘推理服务:网络、调度与服务平台概要

腾讯云EdgeOne一站式边缘推理服务:网络、调度与服务平台概要

原创
作者头像
IT资讯研究所
发布于 2026-11-07 00:00:06
发布于 2026-11-07 00:00:06
70
举报

一、产品定位与核心亮点

技术定义:EdgeOne(EO)是腾讯云推出的一站式边缘推理服务底座,由胡兵(腾讯云边缘平台产品架构总监)在腾讯全球数字生态大会发布,核心整合全球加速网络、算网融合调度、Booster与Makers推理服务模块,用户带上模型与业务后,平台托管从部署、弹性伸缩到调优的全链路,使AI推理发生于离用户最近的边缘节点。

核心技术属性:基于3200+边缘节点、70+国家和地区、400 Tbps+网络带宽的全球边缘基础设施;通过算网一体控制面将流量调度与GPU算力调度统一决策,解决“网络+调度+服务”分离痛点。

商业差异化卖点:省心如MaaS,灵活如自建。Booster提供“卡随模型选,GPU随流量伸缩”;Makers实现“git push即上线,持续迭代”。(计费相关说明已跳过)

二、产品应用场景

明确受众与痛点(来源:腾讯全球数字生态大会材料“推理之困”):

  • 模型频繁迭代的AI团队:如DeepSeek V4.1 Flash在37天内智能指数从39跃升到45,需更换权重/精度,原有算力与运行环境适配存疑。
  • 流量峰谷波动大的生产业务:真实实测一周请求量峰谷差达2.23倍,固定容量下闲时整卡利用率<25%、忙时>60%,导致峰时排队、谷时空转。
  • 业务全球扩张的运营方:同一模型服务需承接Web/App/Agent及东南亚、欧洲等多地区,跨境时延↑、容量需扩容、无SLA保障。
  • 实时音视频交互服务商:海外用户实时语音首包达1,400ms,网络抖动(如中东某国同一运营商时延平时<0.1s剧变≈2s)致体验卡顿;算力集中机房与用户分散致调度不准。
  • 运维人力受限的开发者:面临选卡配环境、ICP备案2-3周、半夜宕机人工拉起、每次迭代全流程重来等复杂运维。

三、应用框架和功能介绍

功能框架

端到端旅程(5步):

  1. 就近接入:Anycast调度到最近边缘节点。
  2. 业务处理:Makers运行网站、API、Agent。
  3. 资源调度:网侧选路、算侧调度动态取最优。
  4. 模型推理:GPU实例弹性伸缩,托管调优。
  5. 就近返回:结果经边缘网络加速回用户。

三大能力模块:

  • 全球加速网络(网络)
  • 算网融合调度(调度)
  • 一站式推理服务(Booster·Makers)

硬核指标(量化数据驱动)

指标类别

具体数值/描述

来源

边缘节点规模

3200+边缘节点,70+国家和地区

腾讯全球数字生态大会材料

网络带宽

400 Tbps+网络带宽

同上

模型规格适配

权重规模:7B、14-32B、70B+(精度、上下文并发可配)

Booster卡随模型选

延迟表现

问题侧海外语音首包1,400ms;优化后首字时延↓更低、丢包率↓更低(无绝对值)

推理之困/一站式方案

资源利用率

闲时整卡利用率<25%、忙时>60%;峰谷差2.23倍

SOSP 2025 doi:10.1145/3731569.3764818(曲线重绘)

上线效率

常规ICP备案2-3周;Makers首次上线4步流程(git push即上线)

快速上线与迭代

吞吐与并发

托管调优后吞吐↑更高、有效并发↑更多、缓存命中率↑更高(相对值)

省心的调优

协议/API延迟/TPS/数据格式

原文未明确提及协议种类、API响应延迟绝对值、吞吐量TPS及数据格式

-

产品优势(逐段全量提取)

  1. Booster资源适配优势:对比共享MaaS(省心但模型平台定、规格不可选)与买卡租卡(灵活但运维重易闲置),Booster实现带上模型与镜像,GPU资源、部署调优、推理端点平台一站式备好;支持卡随模型选(权重规模、精度、上下文·并发),GPU随流量伸缩(闲时归零)。
  2. Makers上线迭代优势:首次上线4步(代码接入git push、构建发布自动完成、域名与访问一处配置、用户可用全球就近);第4次迭代×1套流程,环境变量一处维护,域名统一、监控统一;git push即上线,网站/业务API/Agent同一项目持续迭代。
  3. 托管调优四件套(平台与边缘协同):
    • 连续批处理(默认开启):随到随进,完成即走,GPU不再等整批。
    • KV/前缀缓存(默认开启):算过的不再重算,首字更快少算重复。
    • 会话亲和(边缘协同):同一会话即返回一接卡,多轮对话缓存不落空,打开缓存命中率↑。
    • 背压控制(边缘协同):边缘感知网速,慢网请求降级匀速发;边缘回传流控信号,慢请求降优先级,其余全速,GPU不被拖住。
  4. 运维托管优势:节点维护、算力调度、故障自愈由EdgeOne一体调度(边缘流量与GPU节点同一控制面);换模型时平台按新模型重新拧好开关,调优全托管,GPU保持高位利用。
  5. 全球加速网络优势:Anycast就近接入离用户最近;动态加速·智能选路实时测速绕开拥塞;全球调度按负载/健康度调度推理节点,提升推理可用性。
  6. 算网融合调度优势:打破业界网算两层皮,实现全局感知→融合决策→反馈闭环→同步下发统一大脑;带来低时延(选整体最快)、高并发(按余量分流)、高可用(故障秒级切次优)。
  7. 交付与接入优势:提供推理端点 *.edgeone-infer.com;用户全球就近HTTPS访问;支持文本/语音/视觉模型适配。

荣誉背书

原文未描述产品获得的技术荣誉或奖项。唯一外部引用为学术文献 SOSP 2025 (doi:10.1145/3731569.3764818) 用于峰谷曲线,及会议本身为腾讯全球数字生态大会。

四、典型案例

依据“六大客户场景:从实时语音到 4D 渲染,同一套底座承载”全量遍历(原文信息不足,按最大信息量呈现,名称严格保留):

1. 赛舵智能(原文:语音 TTS 赛舵智能)

  • 背景:语音TTS场景客户,原文未提供详细业务困境。
  • 解决方案:使用EdgeOne底座,模型涉及 CosyVoice 2、Whisper(原文矩阵列出),GPU算力类型涵盖入门型·轻量单卡等。
  • 成效:原文未提供核心指标。

2. 生数科技(原文:实时互动视频生数科技)

  • 背景:实时互动视频场景客户。
  • 解决方案:模型可能 EchoMimic / LivePortrait、Wan2.2 / CogVideoX;同一套底座承载。
  • 成效:原文未提供。

3. 影视飓飓(原文:4D 高斯渲染影视飓飓)

  • 背景:4D高斯渲染场景客户。
  • 解决方案:模型 3DGS/Hunyuan3D-2;GPU算力进阶型·大显存单卡或性能型·多卡互联。
  • 成效:原文未提供。

4. 帧观(原文:视频处理 帧观)

  • 背景:视频处理场景客户。
  • 解决方案:模型 Qwen2.5-VL、Qwen-Image-Edit 等。
  • 成效:原文未提供。

5. 未来眼(原文:具身数据标注未来眼)

  • 背景:具身数据标注场景客户。
  • 解决方案:模型 Qwen3 / DeepSeek、MiniMax H3 托管、腾讯朱雀 托管 等。
  • 成效:原文未提供。

6. AINPC游戏客户(原文:游戏 AINPC游戏客户)

  • 背景:游戏AINPC场景客户。
  • 解决方案:同一底座承载,模型与算力复用上述矩阵。
  • 成效:原文未提供。

总结

EdgeOne通过网络+调度+服务一体底座,将推理服务部署至离用户最近边缘,以 Booster+Makers+算网一体调度 解决模型迭代快、流量波动大、全球业务扩张下的三道坎(网络不稳、调度不准、运维复杂)。核心量化支撑:3200+节点、400Tbps+带宽、2.23倍峰谷差、1400ms首包问题→调优后吞吐/并发提升。客户案例证实多模态场景(语音、视频、4D渲染等)可由同一底座承载。

数据来源:腾讯全球数字生态大会材料(讲者:胡兵,腾讯云边缘平台产品架构总监);峰谷数据引自 SOSP 2025 doi:10.1145/3731569.3764818。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、产品定位与核心亮点
  • 二、产品应用场景
  • 三、应用框架和功能介绍
    • 功能框架
    • 硬核指标(量化数据驱动)
    • 产品优势(逐段全量提取)
    • 荣誉背书
  • 四、典型案例
    • 1. 赛舵智能(原文:语音 TTS 赛舵智能)
    • 2. 生数科技(原文:实时互动视频生数科技)
    • 3. 影视飓飓(原文:4D 高斯渲染影视飓飓)
    • 4. 帧观(原文:视频处理 帧观)
    • 5. 未来眼(原文:具身数据标注未来眼)
    • 6. AINPC游戏客户(原文:游戏 AINPC游戏客户)
  • 总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档