AI网关使用

统一 AI 模型接入、智能路由与流量管理,兼容 OpenAI API 格式,一行代码不改即可接入

能做什么

AI 网关是部署在应用与上游 AI 服务商之间的代理层。开发者只需将请求域名替换为网关地址,即可获得统一的认证鉴权、限流控制、用量统计和安全防护能力。

统一 API 接入

单一端点对接 20+ 主流 AI 模型。完全兼容 OpenAI API 格式,只需替换域名,路径和参数保持不变。

Key 生命周期管理

创建虚拟 API Key 分发给开发者,绑定供应商、设置额度与有效期。真实供应商 Key 加密存储,上游不可见。

安全防护

内置 Prompt 注入检测、敏感内容审核(10 类)、PII 识别与脱敏。请求级别拦截,守护 AI 应用安全。

智能路由

支持按租户、按 Key 配置上游 AI 供应商。同一网关下可接入多个供应商,路由策略灵活切换。

限流与额度控制

单 Key 级别 RPM/TPM 限流,租户级别日/月 Token 配额。原子滑动窗口算法,精确控制用量。

应用级访问控制

应用 Key 支持 JWT 用户身份绑定。应用签发 JWT 携带终端用户信息,网关校验后按用户维度统计用量和控制权限。

全链路审计

每次请求记录调用者、模型、Token 用量、延迟、状态码。日志推送 Kafka,支持 Doris 长期存储和多维分析。

请求链路

开发者AI 网关上游 AI 供应商
1.开发者携带虚拟 Key 请求网关地址
2.网关校验 Key 有效性 → 检查限流与配额 → 执行安全检测(注入/审核/PII)
3.网关将虚拟 Key 替换为真实供应商 Key,转发请求至上游
4.提取响应中的 Token 用量,记录审计日志,返回结果给开发者

配置和使用

查看完整接入流程:供应商配置 → 创建 Key → 发起请求 → 集成工具