作业帮大模型基建演进：构建统一算力网络与AI赋能提升研发运维能效

分享专家： 董晓聪（作业帮基础架构负责人）

数据来源： 腾讯全球数字生态大会作业帮公开分享资料

应对算力供需失衡与化解基础架构协同困局

随着作业帮在工具产品、智能硬件及海外应用等场景全面推进大模型落地，企业面临显著的算力调度与基础架构协同挑战。核心痛点集中于算力资源的物理限制与业务灵活需求之间的矛盾，以及系统规模扩张带来的运维研发阻力：

• 算力供需错配： 在供给端，面临单可用区（AZ）、单地域（Region）及单机型供应不足的硬性制约；在需求端，探索性业务繁多且业务节奏难以预估，同时企业对成本控制有着极致追求。
• 基础架构协同瓶颈：
  • 运维侧： 每新增一种云产品均需适配云管API，并在FinOps中增加计费科目与对账规则，导致适配成本偏高。
  • 架构研发侧： 基础架构提供通用的Passport、触达、文档识别、反作弊等服务，每天需耗费大量精力对接上层众多不断迭代的新业务。
  • 安全运营侧： 云原生架构虽解决了网络与主机的底层安全，但在办公安全与应用安全领域仍依赖大量审计工作，运营人员能力参差不齐影响整体产出效率。
  • 公共支持侧： 业务对底层技术问题的了解减少，导致每天产生大量的基础排障需求，严重挤压基础架构团队精力。

部署统一算力网络与融入AI原生中间件

为彻底解决算力供需问题并打破效率困局，作业帮重构了基于Docker与K8s的云原生架构，并深度引入AI能力，构建了“感知-决策-执行”的自主系统闭环。

• 构建跨地域可信传输链路与统一算力网络：
  • 搭建覆盖北京、南京、上海等多Region的算力网络。
  • 数据面通过NAT与TLS协议保障固定协议与大带宽的服务通信及观测（Log/Trace/Metric）；控制面则通过云联网承载协议复杂、网络带宽要求小的远程登录、主机安全与运维通道，实现链路物理与逻辑的隔离及可信传输。
• 实施精细化与组合式容器调度策略：
  • 基础调度： 涵盖POD分配（Scheduler、插件机制）、POD回收（碎片控制）以及重调度（定期获取资源拓扑，封锁Node，驱逐POD）。
  • 组合收益管理： 建立共享资源池结合HPA，针对长尾服务实现QGPU与GPU资源共享；推行在离线混部架构。
• 重塑大模型时代的DevSecOps交付流： 将AI模型作为环境交付的标配环节纳入DevSecOps体系，打通Train Server、Git、CI Server至Docker Registry的完整自动化发布链路。
• 引入AI重构基础架构工具链：
  • LLM + RAG双驱： 依托深度学习的LLM处理逻辑推理与代码生成，并接入腾讯云 VectorDB与搜狗搜索，通过检索外部知识库增强准确性与实时性，消除大模型幻觉。
  • Agent + MCP架构： 部署具备感知、决策、执行能力的Agent自主系统（用于根因分析、网络抓包等），并通过MCP（Model Context Protocol）提供统一接口协议，简化AI与外部工具的连接（如AI Coding + Inf MCP）。

驱动系统稳定性升级与量化运维成本缩减

通过统一算力调度与AI深度赋能，作业帮在服务质量、资源成本与研发效能三个维度实现了显著的量化突破：

• 资源利用率提升与硬成本削减：
  • 通过QGPU与GPU共享机制，实现千卡级别的资源节省。
  • 通过在离线混部架构，实现数百卡算力的常态化复用。
  • 依托Serverless架构，支撑百卡级别弹性资源的按需使用。
• DevSecOps全链路分发提速：
  • 基于腾讯云COS跨区复制及关联优化，模型全链路分发耗时降低 80%+，从原先的6小时大幅缩短至 45分钟。
• 智能运维与研发效能跃升：
  • 79%： 基础架构机器人工单拦截率达到79%（由多Agent执行网络抓包与根因分析）。
  • 90%+： 结合Log、Trace、Metric等多维数据的智能根因分析准确率稳定在90%以上。
  • 10倍： 借助 AI Coding + Inf MCP 模式，基础服务接入效率提升10倍，且准确率接近100%。
  • 99%+： 安全运营告警处理实现99%以上的自动化率。
• 服务质量与可用性保障： 确保服务间隔离互不影响，单机故障影响面完全可控，全局系统SLA严格保障在 99.99%。

依托原生云组件构筑高可用AI基建底座

在作业帮基础架构演进过程中，腾讯云组件提供了关键的底层支撑与技术确定性。在模型分发效率层面，腾讯云COS跨区复制技术直接打破了跨地域大文件同步的物理瓶颈，成为将部署时间缩短80%的核心驱动力；在AI能力落地层面，腾讯云VectorDB为大模型RAG架构提供了高性能的向量检索底座，有效保障了智能运维与代码生成场景下的数据时效性与输出准确性；在跨域组网层面，云联网技术为控制面提供了高安全性与高稳定性的运维通信传输通道，共同构筑了满足大模型时代需求的新一代算力网络范式。