Vercel AI SDK 如何处理模型调用的错误和回退?
1. 内置回退机制
- 支持配置多个模型作为主备切换
- 主模型调用失败时自动尝试备用模型
- 回退策略可基于错误类型、响应时间等条件
2. 错误分类处理
- 网络错误:自动重试,支持指数退避
- 速率限制:等待后重试,或切换到备用模型
- 内容过滤:返回明确错误,由应用层处理
- 上下文超限:自动截断或摘要历史消息
3. 超时控制(v7 新增)
- 支持总超时、单步超时、单 chunk 超时等多级配置
- 支持默认工具超时和单工具自定义超时
- 超时原因通过流和 UI 协议传递,便于前端展示
4. 生产环境建议
- 为关键路径配置多个模型提供商
- 设置合理的超时阈值,避免长时间阻塞
- 使用 telemetry 监控错误率和响应时间
- 对敏感操作启用工具审批机制