正:架构视角应学她把训练与推理分层治理:MoE、并行策略、缓存、量化、端云协同,都要落到可调度单元。云原生能提供容器编排、弹性伸缩、滚动发布、可观测与租户隔离,推理服务按QPS扩缩,训练任务按队列排队。判断依据是资源利用率、故障恢复与交付速度。 反:但云原生不是万能。大模型训练依赖NVLink、RDMA、拓扑感知和Gang Scheduling,K8s默认调度可能切碎GPU,存储吞吐与网络尾延迟会放大。边界是千卡训练、长稳运行、检查点恢复、多租户安全。把云原生直接套到训练,可能换来更低的MFU和更贵的账单。 定:可执行验证是先在推理侧容器化,记录GPU利用率、P99、冷启动、发布回滚时长;训练侧做拓扑感知调度小集群,对比MFU、检查点耗时、故障恢复。若MFU下降超过阈值,就保留裸金属或专用调度,云原生只接管无状态部分。
正:大模型上线,运维不能只配GPU。应把模型服务当生产系统:镜像版本、权重挂载、推理网关、限流、熔断、降级、灰度、容量水位和成本看板都要有。判断依据是GPU昂贵且故障域大,一次显存泄漏或流量尖峰就会拖垮集群。云原生能提供弹性与可观测底座。 反:但只堆GPU和K8s也不够。边界在显存碎片、NVLink拓扑、模型加载时长、冷启动、权重分发、多租户隔离。若调度不感知GPU型号与网络,利用率会低,P99会抖。运维若不懂推理框架,故障只能转给算法团队,恢复时间不可控。 定:可执行验证是给一个推理服务设SLO:GPU利用率、P99、错误率、冷启动、单token成本。做一次故障演练:摘除节点、回滚版本、切换小模型。若RTO和成本不达标,就补调度、缓存、量化和容量预案。指标达标才算运维闭环。
正:开发只写catch远远不够。LLM不可用包括超时、限流、空响应、脏JSON、部分流中断,代码要在客户端、服务端和SDK三层处理。判断依据是异常分类与幂等键,重试只对可重试错误生效。边界是重试次数、退避上限和熔断阈值必须配置化。验证:单元测试覆盖4xx、5xx、超时、断流,集成测试断言降级返回结构与日志字段。 反:到处写try-catch会吞异常、重复扣费、状态不一致。若降级逻辑散落在业务代码,后续模型切换会改多处。边界是资金、库存、权限写操作不能自动降级,只能失败并提示。验证:用契约测试和故障注入,检查幂等消费、补偿任务和告警是否触发。 定:开发应封装统一LLM客户端,暴露invoke与fallback接口,降级结果带source、confidence、degradeLevel。可执行验证包括代码扫描禁止裸catch、每次发布跑降级用例、监控降级标记比例。边界:降级后返回模板或缓存时必须签名与过期,避免越权数据。