模型网关与智能路由

统一接入鉴权 · 策略路由与权重分流 · 熔断降级与故障转移 · 全链路可观测

统一鉴权 策略路由 权重分流 熔断降级 可观测
请求 / 响应主链路 健康探测 · 指标采集 故障转移 / 熔断降级
1业务调用方CLIENTS
智能客服 / 外呼低延迟 · 高并发
内容生成 / 营销文案 · 图片 · 视频
知识库 RAG长上下文 · 128K+
批量离线任务成本优先 · 可排队
统一接入 /v1/chat/completions
2统一接入网关API GATEWAY
统一鉴权API Key / 签名校验,一套密钥接入全部模型
限流 · 配额令牌桶 QPS 限流,按租户实时扣减额度
计量计费按 Token 精准计量,成本实时归集到客户
请求日志 · 审计全量留痕,支持内容审核与合规追溯
3智能路由引擎SMART ROUTER
智能路由引擎毫秒级决策 · 规则可配置
成本最低 延迟最低 可用率优先 能力匹配 灰度 / A-B
策略路由按业务标签 / 规则匹配
权重分流60 / 30 / 10 可配置
健康探测每 10s 主动探活
自动重试幂等重试 · 指数退避
断路器 · 故障转移 · 熔断降级错误率超阈值自动 OPEN 熔断,秒级切换备用渠道,全部失败时走本地兜底,不向用户抛错
4国产模型渠道池UPSTREAM MODELS
多供应商 · 多活冗余 ● 整池可用率 99.99%
主用渠道 · 低延迟
doubao-seed
火山引擎 · 权重 60%
健康
P95 0.42s
deepseek-v3
深度求索 · 权重 30%
健康
P95 0.68s
备用渠道 · 故障接管
glm-4.6
智谱 AI
健康
P95 0.74s
qwen3-max
阿里百炼
健康
P95 0.91s
专项渠道 · 长上下文 / 多模态
kimi-k2
月之暗面 · 权重 10% · 128K+ 长文
探测中
P95 1.86s
5响应与兜底RESPONSE
200 OK · 流式返回
主 / 备渠道实时生成结果
端到端 P950.52 s
成功率99.92%
故障切换耗时< 1 s
熔断时 · 降级兜底不抛错
本地缓存结果相似问题命中缓存直接返回
首选
固定话术安抚提示稍后再试 / 转人工,保障体验
对话
切换兜底小模型本地 / 轻量模型保底回答
兜底
鉴权 · 计量
策略 · 权重分流
流式响应
上游超时 / 错误率超阈值
熔断 OPEN · 故障转移 · 降级兜底
全链路可观测平面Metrics 指标 · Logs 日志 · Trace 链路追踪 · Alert 告警 —— 每一次调用都可看、可查、可追
实时大盘 P50 / P95 / P99 渠道健康 熔断告警

实时流量(近 5 分钟)

实时 QPS326rpm
▲ 12.4%
成功率99.92%
错误 0.08%

响应延迟分布

P500.52 s
P951.18 s
P992.35 s
网关自身耗时3.2 ms
网关处理 + 路由决策合计仅毫秒级,延迟几乎全部来自上游模型;故障切换附加延迟 < 1s。

上游渠道健康度

doubao-seed0.03%
deepseek-v30.08%
glm / qwen0.10%
kimi-k26.8% ↑
连续 10s 探活失败或错误率 > 5% 即触发熔断,流量自动重分配到健康渠道。

实时事件流(Trace / Log)

10:42:18INFO鉴权通过 sk-prod-*** · 扣减 1,248 tokens
10:42:17INFO策略命中 tag=低延迟 → doubao-seed(权重 60%)
10:42:15WARNkimi-k2 P95 升至 1.86s,错误率 6.8%,标记降级
10:42:14ERRORkimi-k2 连续超时,断路器 OPEN,停止转发
10:42:14SAFE故障转移 → deepseek-v3 接管,重试 1 次成功 200
10:42:09INFO健康探测:doubao / deepseek / glm / qwen 全部正常