路由配置
在左侧推理(Inference)下打开路由(Routes)。客户端请求先按模型、路由组、协议与操作命中请求入口(Surface);请求入口指向路由池(Route Pool);路由池内包含具体的上游目标(Upstream targets)。Chat、Responses、图片和音频等操作可以使用独立的故障转移池和路由策略。
工作台支持**总览(Overview)与按模型(By model)**两种视角,并在 Unrouted models 区域集中展示尚未启用请求入口的模型。状态、类型、路由组、厂商和 Provider 筛选会反映在浏览器地址栏,便于分享同一视图。

在管理台里要做什么
Section titled “在管理台里要做什么”- 打开路由(Routes)。
- 请求入口(Surface):选择客户端模型与
route_group(常用default),再指定入口协议和operation,例如openai.chat、openai.responses、anthropic.messages、openai.images.generations;Gemini 流式与非流式统一选择gemini.models.generate。 - 路由池(Route Pool):让请求入口指向一个故障转移池;可设置路由池的默认策略,也可点击各
priority层的策略(Policy)芯片,单独覆盖该层。未设置时继续继承模型或全局策略。 - 上游目标(Upstream Target):选择供应商(Provider),填写上游实际模型名与
operation,设置priority(数字越大越先尝试)、weight和启用状态。 - 自定义参数(Custom params):按需填写供应商扩展参数或路由默认值。它们会与上游请求体深度合并,客户端显式传入的字段优先。
- 计费:在上游目标中设置用户计费(Charged cost)和供应成本(Metered cost)相对目录标准价的默认倍率;如需对齐供应商的高峰价和闲时价,再配置分时时段(Schedule),并按需限定星期。命中时段后,该行倍率会覆盖默认倍率;时区见 系统配置。
- 保存后:用调试台(Playground)针对单条路由做上游试跑;若要验证“真实密钥 + 网关入口”整条链路,请用模拟器(Simulator)。

默认倍率、星期与分时时段
Section titled “默认倍率、星期与分时时段”2.6.0 起,Admin 新保存的每日时段使用 schedule.mode: "override":
- 未命中任何时段时,使用上游目标的默认 Charged / Metered 倍率。
- 命中时段时,直接使用该行的 Charged / Metered 倍率,不再与默认倍率相乘。
- 两侧共用相同的起止时间,但可以分别填写用户计费倍率与供应成本倍率。
- 为兼容已部署配置,未设置
schedule.mode的旧数据仍沿用“默认倍率 × 时段倍率”的叠乘规则。 - 2.7.0 起,每个窗口可以选择“每天”“工作日”“周末”,也可以逐日选择;没有限定星期的旧窗口仍然每天生效。
- 通过管理接口配置时,
days使用 ISO 星期编号:1代表周一,7代表周日。 - 跨午夜窗口的星期归属于开始日。例如,周五
22:00–06:00覆盖周五 22:00 至周六 06:00。
窗口按请求进入 Gateway 的时刻和业务时区判定;长时间流式请求不会在跨越时段边界后切换倍率。
与客户端的关系
Section titled “与客户端的关系”客户端只需传 model 及协议要求的请求体,无需写死供应商信息。可使用基础模型 ID,或用 baseId:group 选择路由组。
路由顺序与四种策略
Section titled “路由顺序与四种策略”路由池先按上游目标的 priority 降序分层,数字越大越先尝试;同一 priority 层再按生效策略与 weight 排序:
| 策略 | 特点与适用场景 |
|---|---|
hash_affinity(默认) | 同一用户、模型、分组与协议会稳定首选同一供应商,提示词缓存(Prompt Cache)命中率高;短时流量可能不完全均匀。 |
weighted_random | 按 weight 加权随机分流,负载均衡性高,适合比例分摊或 A/B;缓存亲和较弱。 |
weight_priority | 同层按 weight 从高到低固定排序,适合可预测的主备结构;首选供应商承担大部分流量。 |
weighted_round_robin | 按 weight 轮转,更均匀;计数器按运行实例维护,多实例间不全局同步。 |
跨供应商硬主备请使用不同的 priority。策略覆盖顺序为:当前 priority 层覆盖 → 路由池默认 → 模型能力规则 → 模型协议规则 → 模型默认 → 全局 ROUTE_STRATEGY → hash_affinity。
供应商粘性(Provider sticky)是路由池级的跨请求成功记忆,不是第五种层内策略:
- 无有效绑定时,仍按
priority与上面的四种策略选路;成功后记录上游目标。 - 有效绑定会在空闲 TTL 内跨
priority优先尝试;默认 TTL 为 3600 秒,每次成功会续期。 - 429、401 / 403、5xx、524 或网络错误会解绑并继续常规故障转移;400、404 与图片客户端取消不会解绑。
- 供应商粘性默认关闭。在拓扑视图(Topology)的路由组或路由池节点中,点击供应商粘性状态芯片(关闭时显示粘性 · 关闭,英文 UI 为 Sticky · Off),打开供应商粘性设置;你可以在此启用或关闭该功能、调整 TTL、查看绑定分布与权重、按用户解绑或让整个路由池的绑定失效。
hash_affinity 是无状态哈希,尽量让同一用户稳定首选同一供应商;供应商粘性则持久记住上次成功的上游目标,并在 D1、Postgres、MySQL 中跨 Worker isolate 或 Node 实例共享。
故障转移与熔断
Section titled “故障转移与熔断”可重试的 429、401 / 403、5xx 与网络错误会继续尝试下一个上游目标;供应商会按错误类型进入不同冷却时间。若所有候选都处于熔断状态,Proxy 返回 429 并携带 Retry-After。
调试台直连单个上游目标,不经过路由池策略、故障转移、用户计费或请求日志;完整行为请用真实代理调用或模拟器验证。图片生成路由须为 OpenAI 协议,见图片生成 / 编辑。