跳转到内容

路由配置

在左侧 Inference → Routes 打开路由页。模型路由决定:当客户端传入某个 model(以及可选的 路由组)时,网关按什么顺序尝试哪条「模型 + 供应商 + 上游模型名」组合。同一路由组内可配置多条路由,按 优先级 依次尝试,实现故障时的自动切换。

列表支持多条件筛选;筛选结果会反映在浏览器地址栏,便于复制链接给同事查看同一视图。

OctaFuse Admin Routes 页面中按供应商分组展示模型路由配置。
Routes 页面会按供应商和模型展示路由卡片;同一个模型可以有多条启用/备用路由,用于优先级和故障切换。
  1. 打开 Routes
  2. 新建路由:选择模型、供应商、上游实际模型名称、协议类型(须与供应商页为该协议配置的访问地址一致)、路由组(常用 default)、优先级(数字越小越优先)、状态(仅 启用 的路由参与对外选路)。
  3. 计费:在路由的 Billing 面板配置 用户计费 / 供应成本 相对目录标准价的基础倍率;如需对齐供应商高峰 / 闲时价,再配置 Daily schedule(每日时段倍率,时区见 系统配置 的业务时区)。
  4. 保存后:用 Playground 针对单条路由做上游试跑;若要验证「真实密钥 + 网关入口」整条链路,请用 Simulator

客户端只需传 model 及协议要求的请求体,无需写死供应商信息。调整上游或优先级时,优先改路由页即可。

Playground 用于直连上游试跑单条路由,不会模拟网关对同组多条路由的自动切换;完整切换行为以真实 Proxy 调用为准。