New API 开源 AI 网关详解
这份产品说明介绍 New API 如何处理模型请求，以及你可以配置哪些接入、路由、权限和用量规则。具体操作可从各节进入文档。
页面目录
请求如何经过 New API
当多个应用要访问不同模型时，AI 网关提供一个集中管理接入、访问权限与用量的地方。New API 把这些设置放进可自部署的 Web 控制台。
应用与 AI Agent
聊天应用、开发工具，以及你自己的服务。
New API- 访问令牌
- 渠道路由
- 用量记录
你配置的模型服务
OpenAI、Anthropic、Gemini，以及兼容的模型服务。
请求先经过 New API 的令牌校验和渠道选择，再发送给配置的上游模型。模型响应经网关返回应用。
什么时候需要 AI 网关？
- 给团队分配模型访问
- 为不同成员或应用创建令牌，设置可用模型、额度、过期时间与 IP 限制。上游渠道在网关中管理。
- 给应用接入多个模型
- 把客户端指向自己的网关地址，接入已配置的模型。按接口文档核对所用协议、参数和模型能力，再接入业务。
- 看清渠道与调用费用
- 在一处查看请求、Token 用量和费用，排查失败调用，并根据业务需要调整渠道优先级、权重与计费设置。
能力与配置说明
按实际需求选择配置。每项能力都有对应文档，可继续查看操作步骤和支持范围。
多模型与协议接入
统一接入多家模型服务，支持 OpenAI、Claude、Gemini 等接口及协议转换。具体端点、参数和转换范围取决于模型与渠道类型。
查看 API 参考渠道路由与故障切换
为同一模型配置多个渠道，通过优先级和权重分配请求。结合重试与渠道状态设置处理上游故障。
查看渠道配置令牌与访问限制
为应用创建独立访问令牌，设置额度、有效期、模型范围和 IP 白名单，在控制台管理授权。
查看令牌管理用量与成本核算
查看模型价格和倍率，按所配置的计费规则记录调用费用。支持按量、按次及缓存 Token 等计费设置。
查看价格与计费调用记录与排查
查看调用使用的模型、Token 数量、耗时和费用，结合日志筛选定位请求与用量变化。
查看日志说明生成任务插件
通过任务插件接入图片、视频、音乐等生成服务，查看插件支持的模型、配置和接口说明。
查看插件文档功能与协议支持随版本更新。选型时请结合当前版本文档，验证你的模型、客户端和调用参数。
部署与接入步骤
先部署网关，再接入已有的模型服务，最后为应用创建令牌。
- 1
- 2
- 3
常见问题
New API 自带模型或 API 额度吗？
New API 提供网关软件和管理界面。部署后需要接入自己的模型服务或兼容端点，并准备相应调用凭证。服务器与上游模型费用按各自服务计收。
自部署后，请求数据会发到哪里？
网关运行在你的基础设施上，请求内容会发往所配置的上游模型服务。使用第三方模型时，仍会经过该服务处理；需要本地推理时，应接入自己的兼容模型端点并核对全部数据流向。
缓存 Token 计费和响应缓存有什么区别？
缓存 Token 计费依据上游返回的缓存用量及配置倍率计算费用。网关响应缓存则保存并复用完整响应，两者是不同能力。评估缓存需求时应核对当前版本文档和上游模型行为。
开源版本如何使用？
New API 按项目 LICENSE 所列的 AGPLv3 及附加条款发布。部署、修改或分发前请阅读仓库中的 LICENSE 和 NOTICE；商业合作与授权咨询入口在项目文档中。