Skip to content

Latest commit

 

History

History
141 lines (80 loc) · 9.53 KB

File metadata and controls

141 lines (80 loc) · 9.53 KB

一个 OpenAI 兼容入口,打通 40+ Providers,告别为每家供应商单独接 SDK

还在为多套 Key、多套账单、多套报错格式来回切换而分心吗?如果你的项目里已经先后接过 OpenAI、Claude、Gemini,这段经历大概不难共鸣——花几分钟读完,或许能对症下药。

我自己就是在这条路上被反复绊住的。做 AI 应用久了会发现,真正拖慢交付的,往往不是市面上模型不够多,而是接入成本在悄悄指数增长。多数团队的路径都很相似:先接 OpenAI 把 MVP 跑通;很快发现某类长文本或推理任务更适合 Claude,于是再加一条链路;接着为了效果对比或成本优化,又把 Gemini 或其他供应商拉进来做 A/B。几个迭代之后,仓库里开始长出三到五套 client、散落各处的环境变量、彼此独立的账单后台,以及风格完全不同的限流与错误处理。表面上是在多模型并进,实际上是在维护多套平行世界。

麻烦还不止于代码膨胀,更烦的是,这些问题会跟着业务一起长大。模型选型一变,调用约定、参数语义、甚至流式事件结构都可能跟着改,业务层不得不跟着适配;某一家上游抖动时,若缺少统一路由与故障转移,可用性会直接“裸奔”;成本则散落在多个账户里,月底对账像考古;团队一扩,Key 的发放、权限和额度也变得难控——谁都能调、谁都说不清花在哪。

我当时维护的正是这类需要频繁换模型、又不能把稳定性赌在单一上游上的站点。与其在业务代码里继续堆胶水层,不如把这些本不该反复出现的摩擦抽出来,做成一层可复用的基础设施。于是和团队一起开发了 SmartAPI:用统一入口、统一鉴权、统一账单,以及面向多上游的路由,把这些本不该反复出现在业务里的摩擦,收束到同一层基础设施上,让你把精力放回产品本身。

统一入口 推荐理由:请求经单一网关路由至 OpenAI、Anthropic、Gemini 及更多供应商。业务侧只需关心本次使用的 model,不必再维护各家 base URL 与签名差异。

OpenAI / Anthropic SDK 兼容 推荐理由:继续使用官方 OpenAI / Anthropic SDK,主要替换 base URL 与 API key。README 示例无需整体重写,现有 Agent / RAG / Chatbot 脚手架迁移成本低。

内置路由与故障转移 推荐理由:请求会路由至健康上游通道,并在短暂上游错误时自动重试。模型可切换,业务可用性尽量不随单点抖动一起失效。

统一账单 + 按量付费 推荐理由:不同模型费用集中在一个账户结算,按量计费,对独立开发者与小团队,通常比分别开通多家账号、走多套充值与对账更清晰。

零数据留存 推荐理由:SmartAPI 保证零数据留存——代理请求,不存储 prompts 或 completions。对处理用户内容、企业内部知识、客服对话等场景更友好。

关于产品

把多模型接入从业务里抽出来之后,SmartAPI 的定位其实很明确:一个面向开发者的 AI 模型 API 网关 / 聚合平台。

它做的事情很直接:

  • 一个统一的 API Key
  • 走 OpenAI 兼容(以及 Anthropic 兼容等)接口
  • 去调用多个上游模型供应商(支持 40+ providers、200+ models)

这意味着:你不需要再为每个供应商维护一套 client;在控制台拿到一把统一的 API Key,把请求打到 OpenAI 兼容(以及 Anthropic 兼容等)接口上,就可以按模型名称去调用多家上游。

如果一定要找个参照系,它更接近 OpenRouter、LiteLLM 这类网关,以及常见的第三方模型中转:能力在上游,稳定路由、统一鉴权与账单在中间层。我做它的目标也很务实——让现有项目尽量少改代码,通常改 base_urlapi_key 就能换模型,无需再堆一整套适配层。

文档入口:https://www.smartapi.cc/docs

SmartAPI 能带来什么?

统一入口:一个 endpoint,调用多家模型

请求经单一网关路由至 OpenAI、Anthropic、Gemini 及更多供应商。业务侧只需关心本次使用的 model,不必再维护各家 base URL 与签名差异。

主要协议路径如下:

能力 协议 路径
Chat Completions OpenAI-compatible POST /chat/completions
Responses OpenAI Responses POST /responses
Messages Anthropic-compatible POST /messages
图像生成 SmartAPI POST /generate/image/generations
视频生成 SmartAPI POST /generate/video/tasks

覆盖范围不止 Chat,常见生成能力尽量收进同一套网关。

OpenAI / Anthropic SDK 兼容:尽量只改 base_url + api_key

产品设计目标是 Drop-in compatible:继续使用官方 OpenAI / Anthropic SDK,主要替换 base URL 与 API key。

对开源项目尤其实用:

  • README 示例无需整体重写
  • 现有 Agent / RAG / Chatbot 脚手架迁移成本低
  • 贡献者学习曲线短

熟悉 OpenAI SDK,即可上手 SmartAPI。

内置路由与故障转移:网关该有的可靠性层

请求会路由至健康上游通道,并在短暂上游错误时自动重试。相对直连单一供应商,这是聚合网关的关键差异:模型可切换,业务可用性尽量不随单点抖动一起失效。

统一账单 + 按量付费:一个账户结算多家模型

卖点非常务实:

项目 说明
账户结算 不同模型费用集中在一个账户结算
计费方式 按量计费:$1 = 100 credits
Chat 类模型 按 token 计费
图像 / 视频 按生成计费(按模型定价)

对独立开发者与小团队,这通常比分别开通多家账号、走多套充值与对账更清晰。

低延迟承诺:宣称 P99 < 200ms

官网强调智能路由与连接复用,并给出 P99 < 200ms 的延迟承诺,同时宣传 99.9% Uptime SLA。

是否满足你的业务 SLA,建议用真实链路压测验证;但从产品叙事上看,它把「延迟」当成一等公民,而不是只讲模型目录有多长。

零数据留存:只代理,不保存

SmartAPI 保证:零数据留存——代理请求,不存储你的 prompts 或 completions。

对处理用户内容、企业内部知识、客服对话等场景,这是选型时会认真问的一句话。具体合规边界仍建议阅读其隐私与服务条款,并按你的行业要求做评估。

价格实惠,当前有八折优惠

在多模型试错阶段,成本往往直接决定实验频率。SmartAPI 强调按用量计费,并且当前提供八折优惠,适合原型、评测与灰度;确认真实用量后再决定是否长期接入。

(优惠以官网 / 控制台当前活动为准。)

如何开始:最小迁移路径

基本流程三步:

  1. 在控制台创建 API Key
  2. 从模型列表选择 model
  3. 向对应 endpoint 发请求

请求进入网关后:鉴权 → 余额与限流检查 → 路由至健康上游(含自动 failover)→ 流式返回响应。

SmartAPI 是 transparent proxy:请求与响应体遵循上游规范。熟悉 OpenAI 或 Anthropic API,即基本熟悉本平台的调用方式——示例短、迁移短、心智负担也短。

使用建议

第一,不要把多模型接入继续堆在业务代码里。当仓库里长出多套 client、环境变量和错误处理分支时,真正拖慢交付的往往不是模型不够多,而是接入摩擦在指数增长。更稳的做法是先统一入口,让 model 成为主要变量。

第二,优先用最小迁移路径验证链路。创建 Key、选定 model、向对应 endpoint 发请求;确认鉴权、路由和响应结构都符合预期后,再逐步扩展到图像、视频等能力。

第三,按功能搭配网关能力,而不是只盯模型目录。一个比较实用的组合是:统一入口负责调用,路由与 failover 负责稳定性,Credits 账户负责成本可控,零留存策略负责数据边界——先跑通真实流量,再决定是否长期接入。

第四,网关降低接入摩擦,但不替代合规判断。零留存降低数据暴露面,涉及用户内容、企业知识库或行业合规时,仍需结合隐私政策与业务场景自行确认。

第五,用压测验证延迟与 SLA,而不是只看宣传指标。P99 < 200ms 和 99.9% Uptime 是否满足你的业务,建议用真实链路压测为准。

最后,判断一层接入设施是否值得长期使用,不只看模型多不多,还要看它是否让你更快完成下一件事:下一次切换、下一轮评测、下一份账单核对。好的入口层应该更薄、更兼容,让上层创新更快。

写在最后

AI 应用的迭代速度很快,模型榜单每周都在变;真正拖慢交付的,经常是接入与运维摩擦,而不是再多一个模型。

我们开发 SmartAPI 的初心,是想提供一层足够薄、足够兼容的网关:

一个 Key,一类熟悉的 API,多家模型,一份账单。

我们正在打造一个面向开发者的技术交流场域,围绕多模型接入、网关路由与 Agent 基础设施等话题促进讨论与碰撞,期待由此带来彼此启发与协同创新。

也欢迎直接反馈产品设计与使用体验,帮助我们把 SmartAPI 做得更好。