问多模型 API 流式输出如何设计统一适配层？

提问于 2026-08-25 22:45:27

回答 0关注 0查看 3

OpenAI、Anthropic，以及通义、文心、智谱等模型的流式接口，在事件类型、增量字段、工具调用参数拼接、结束原因和错误格式上并不完全一致。如果业务层直接依赖某一家 SDK，后续切换模型或做路由会产生大量条件分支。一个可长期维护的统一适配层，应该如何定义内部事件协议？又该怎样处理半包 JSON、工具调用增量、取消请求、重试、用量统计和可观测性，才能兼顾兼容性与低延迟？

api