个人开发者与工具链
把多个模型订阅、Coding Plan、Token Plan 或备用上游汇总成一个 Gateway。Cursor、CLI、脚本或自研工具只需要配置一个 Base URL 和一把用户 Key。
gateway.route
live
OctaFusePolicy Routerbudget · failover · audit
OpenAI/v1/chatAnthropic/v1/messagesGemini/v1beta
3 protocols∞ providers1 gateway
模型能力正在变得越来越分散：供应商、兼容端点、Coding Plan、Token Plan、自托管模型、团队内部账号，各有自己的 Base URL、密钥、额度、价格和日志。应用真正需要的却很简单：一个稳定入口、一套可控路由、清楚的预算和可追溯的调用记录。
现有托管型 AI Gateway 通常围绕平台提供的模型目录、Provider 列表和控制面展开，接入边界、路由策略、计费口径和扩展方式都容易被平台能力限制。OctaFuse 更像一层可自建、可改造的开放网关：你可以接入官方 Provider、第三方兼容端点、私有模型服务和多把上游 Key，把选路、限流、熔断、预算、审计与管理 API 都掌握在自己的系统里；客户端继续按熟悉的 OpenAI / Anthropic / Gemini 协议调用即可。
AI 应用与 Agent 团队
业务代码面向稳定模型 ID 和统一协议开发。模型切换、灰度路线、备用 Provider、失败降级和默认参数都放在网关层调整。
团队平台与 IT 管理
为部门、项目、成员或客户分别创建用户与 API Key，配置预算周期、状态和 metadata，让模型调用治理从业务服务里独立出来。
API 代理与分销服务
接入多个上游 Provider 和多把上游 Key，对下游客户发独立 Key，并通过请求日志、成本口径和审计记录做分客户管理。
私有与混合模型入口
把自托管兼容服务、内部模型、Ollama / vLLM 旁路和公网模型放在同一套路由体系后面，对外暴露一致的访问方式。
成本与稳定性运营
通过模型、Provider、用户和可靠性维度观察用量与失败情况，再决定默认路线、备用路线、预算策略、按时段调价和上游 Key 配额。
三协议统一入口
支持 OpenAI Chat Completions、Anthropic Messages、Gemini generateContent / streamGenerateContent，并提供 GET /v1/models 与公开模型目录。
模型路由与 Route Group
客户端可用稳定模型 ID 调用，也可通过 baseId:group 选择不同路线。一个模型可以按协议、route group、优先级和权重挂多条上游 route。
Provider Key 池调度
同一 Provider 可维护多把上游 Key。调度时综合 route priority、key priority、余量、熔断状态和 sticky 绑定，按可用性执行 failover。
限流、熔断与 Sticky
上游 Key 可配置 RPM / TPM / 最大并发。429、401 / 403、5xx 和网络错误会进入不同冷却策略；sticky 绑定可提升 prompt cache 命中率。
用户 Key、预算与计费
预算与周期归属 User，User 下可创建多把 active API Key。Proxy 转发前校验预算；每次请求同时记 供应成本、目录标准价、用户计费 三笔账。路由可配基础倍率与每日时段倍率（业务时区下的高峰 / 闲时），适配各家模型按时段定价。
日志、审计与 Analytics
请求日志记录协议、模型、route group、Provider、Provider Key、token、状态和成本；审计日志记录预算扣减、周期重置与用户 / Key 生命周期。
Playground 与 Simulator
Playground 在 Admin 内测试单条 route；Simulator 用真实用户 Key 模拟客户端调用，检查鉴权、选路、计费与日志链路。
部署与系统集成
默认 Cloudflare Workers + D1（个人与小流量通常可在免费额度内运行）；也可 Node / Docker + PostgreSQL 或 MySQL 8。外部门户可通过 /api/admin/* 自动开通用户、发 Key、同步预算。
默认路径是 Cloudflare：本机 Wrangler + 本地 D1 跑通后，用一条 CLI 部署到你的账号；再配置 Provider、模型与 route，创建用户 Key，把客户端指向 Gateway Base URL。