AI中转站技术收集

目前 AI 中转站主要使用哪些技术有开源产品

目前 AI 中转站主要使用哪些技术有开源产品

## 、中转站核心技术

底层本质：**协议转换网关 + 鉴权分发 + 流式转发（SSE）**，所有主流中转站都围绕这套能力：

1. **协议适配层（最核心）**

把各家异构 API（OpenAI、Claude、Gemini、通义、DeepSeek 等）统一转为 **OpenAI /v1/chat/completions 兼容格式**；处理请求体映射、返回结构转换、SSE 流式输出转发（LLM 流式是难点）。

2. **渠道 & 密钥池管理**

多上游渠道、批量密钥轮询、负载均衡、失败自动降级 / 切换、按模型分组路由；支持设置倍率计费、单用户配额、过期控制、IP 黑白名单。

3. **用户鉴权 & 计费记账**

生成下游用户 token、调用日志、token 消耗统计、兑换码、充值；商业版会对接支付。

4. **缓存、限流、监控层**

Redis 缓存重复 prompt、QPS 限流、调用耗时 / 错误率监控；高并发架构搭配 Nginx/Caddy、CDN、数据库（SQLite/MySQL）。

5. **附加灰色技术（风险极高）**

   - Sub2API：逆向网页订阅接口（ChatGPT Plus/Claude 网页），把网页会话包装成 API，属于逆向破解，**不建议对外运营**

   - 账号池共享、cookie 池、会话保活

   - 代理层：socks/VMess 等跨境转发（国内直接给他人提供境外模型调用属于违规）

> 常用开发语言：Go（OneAPI/NewAPI）、Python（LiteLLM）、Rust（APISIX AI 网关、Fastllm-proxy）

## 二、主流开源产品（分两类：商用分发型、企业网关型）

### 🔥 圈内个人中转站最常用（带后台、分 token、计费）

1. **One API（songquanpeng/one-api）**

Go，MIT 协议，目前国内中转站基石，绝大多数小商家基于它改。

特点：轻量、Docker 一键部署、SQLite 开箱即用；支持几十家模型、负载均衡、额度、兑换码；界面简洁，生态教程最多。

局限：原生监控弱，没有自带支付。

2. **New API（QuantumNous/new-api）**

OneAPI 的增强分支，AGPLv3 协议。

新增：Prometheus 监控、更完善的 Claude/Gemini 协议、在线支付、告警、更细粒度模型控制、更好的看板；现在很多新的商业中转站用它。

3. **Sub2API**

订阅转 API 专用，逆向网页版 ChatGPT/Claude 会员，把网页订阅转为 API 接口。

⚠️ **风险提示：逆向官方网页接口，违反服务商 TOS，公开售卖极易出事，仅适合个人研究**。

### 🧱 企业级标准 LLM 网关（适合内部系统集成，不是面向 C 端卖 token）

1. **LiteLLM（BerriAI/litellm）** Python，MIT

既是 SDK 也可以启动 proxy 网关；统一 100 + 模型，支持 fallback、预算、缓存；适合开发者内部集成，**缺少开箱即用的用户管理后台**，一般不会直接拿来做对外售卖的中转站。

2. **APISIX AI Gateway（Rust）** Apache-2.0

高性能 API 网关，AI 路由、提示词护栏、流量管控；偏向云原生基础设施，二次开发门槛高。

3. **Portkey Gateway（TypeScript）** MIT

侧重可观测、风控、缓存、多模型路由；企业 AI 应用网关，不带分销用户系统。

### 小众轻量备选

- Ccx：极简协议转换代理，无数据库，适合自用转发

- OmniRoute：智能路由，按价格 / 延迟自动选上游渠道

## 三、选型提醒（结合前面说的合规）

- ✅ **合规玩法**：OneAPI / NewAPI，只接入国内已备案大模型官方 API、自用 / 公司内部使用，不对外售卖、不接境外模型

- ❌ **灰色玩法**：Sub2API + 跨境代理、中转 GPT/Claude 对外卖 token，就是网上大量低价中转站，法律风险很高

- LiteLLM、APISIX 这类，定位是**企业 AI 网关**，不是用来做面向散户卖 token 的中转站

## 四、最简架构示例（自用合规版）

应用客户端（Cursor/ChatBox） → OneAPI/NewAPI → 国内模型官方API（DeepSeek/通义等）