路由与降级

LW AI 使用智能路由和自动降级机制,确保每个请求的高可用性和最优性能。

请求路由

基于区域的路由

所有请求使用单一端点 openapi.linkwo.ai。GeoDNS 会自动将每个请求路由到最近的区域:

  • 美洲用户 → 希尔斯伯勒基础设施(最低延迟)
  • 其他国际用户 → 新加坡基础设施

模型路由(Astra V1 Pro)

使用 fusion 模型时,请求会根据以下因素路由到最佳底层模型:

因素说明
任务复杂度简单 → Flash,复杂 → Pro
领域金融/能源 → Yantronic V1 Pro
语言中文 → GLM,英文/代码 → DeepSeek
当前负载跨模型均衡以提升吞吐量

自动降级

当主模型或基础设施不可用时,LW AI 会自动降级以维持服务:

模型降级

主模型 → 降级模型(同等能力等级)

例如,当 deepseek/deepseek-v4-pro 过载时:

  1. 请求路由到 deepseek/deepseek-v4-pro
  2. 若不可用,降级到 z-ai/glm-5.1(同等等级)
  3. 响应通过 model_routed 头返回实际使用的模型

基础设施降级

主区域 → 备用区域

当希尔斯伯勒区域出现问题时:

  1. 发往 openapi.linkwo.ai 的请求会被代理到新加坡
  2. 延迟可能略有增加
  3. 服务保持可用

降级行为

场景行为对用户的影响
模型过载降级到同等模型极小——相同质量等级
模型下线降级到同等模型极小——响应包含实际使用的模型
区域性能下降跨区域代理延迟略有增加
完全中断维护页面API 返回 503 并附带 retry-after 头

禁用降级

对于需要严格模型控制的应用,你可以禁用降级:

response = client.chat.completions.create(
    model="deepseek/deepseek-v4-pro",
    messages=[...],
    extra_body={"allow_fallback": False}
)

禁用降级后,不可用的模型将返回 503 Service Unavailable 错误,而不会路由到替代模型。

监控

  • 检查响应头中的 model_routed,查看实际处理你请求的模型
  • 使用 服务状态 查看实时基础设施健康度

相关文档