核心挑战
私有化部署之后，问题才刚刚开始
四大典型挑战，制约私有化 AI 规模化落地
私有化模型资源分散，接入标准不统一
多个私有化模型协议、端点、鉴权方式各不相同
协议不统一端点分散重复适配开发
凭证与用量分散，存在安全与成本失控风险
真实 API Key 直接下发，用量与费用缺乏约束
Key 泄露风险成本无核算缺少配额约束
使用行为缺乏组织级管控与成本归属
调用与费用无法按部门归集，权限无法自动回收
无用量归集成本难分摊权限不回收
用量缺乏可观测性，异常难以预警与处置
调用链路不透明，故障与异常用量难以回溯
无链路日志缺可视化缺合规审计
总体架构
私有化模型资源的统一纳管与智能路由
AI Gateway 部署于企业应用与私有模型资源之间，向上统一接入，向下统一纳管。
企业员工 / 内部应用
通过二级凭证或 SSO 身份接入，统一经 AI Gateway 调用模型
二级凭证或 SSO 身份接入
OpenAI 兼容接口调用
个人用量自助查看
AI Gateway（AI 网关）
统一接入、路由与治理中枢，承载全部管控能力
认证与凭证管理
路由与限流
配额管控
调用日志
用量统计
合规审计
OpenAI 兼容 / Anthropic 兼容 / 自定义类型
私有大模型 / 公有云模型
OpenAI 兼容 / Anthropic 兼容 / 自定义端点，统一纳管
私有大模型 A（OpenAI 兼容）
私有大模型 B（Anthropic 兼容）
公有云模型（可选）
AES-256 · 内网链路
三种接入形态
OpenAI 兼容
使用 OpenAI 协议的内网/专有端点
主流开源模型自建推理服务
Anthropic 兼容
使用 Anthropic 协议的内网端点
Claude 系私有化 / 专有部署
自定义类型
通过自定义端点与请求/响应 Schema 适配
一体机、专属网关、特殊协议
供应商级关键能力
端点配置
支持内网地址，调用不出内网
凭证安全
AES-256 加密落库，脱敏展示
模型白名单
仅开放授权模型，未授权即拒绝
限流控制
TPM/RPM 限流，防御流量冲击
路由优先级
多供应商按优先级智能路由，支持主备切换
模型同步
自动同步供应商侧模型列表，减少人工维护
费用测算
配置计费类型与高峰时段，支撑成本核算
核心能力
五大核心能力，覆盖私有化 AI 全生命周期
覆盖统一接入、组织治理、配额管控与可观测，夯实私有化 AI 运营底座
统一接入
私有化模型统一接入（供应商管理）
纳管各类私有模型资源，屏蔽协议差异，一次接入全量可用。
- 支持 OpenAI / Anthropic 兼容与自定义端点
- 模型白名单与优先级路由
- 凭证 AES-256 加密存储与脱敏展示
OpenAI 兼容接口
AI GatewayAES-256
OpenAI 兼容
Anthropic 兼容
自定义端点
OpenAI / AnthropicTPM / RPM
组织治理
组织治理：多租户与组织架构
将 AI 用量纳入组织级治理，实现用量归集与成本分摊。
- 租户间数据严格隔离
- 部门树形层级与独立配额
- 组织架构批量导入导出
租户 A
部门 A30M
A-1A-2
部门 B12M
租户 B
部门 A30M
A-1A-2
部门 B12M
数据严格隔离A ↔ B
用户接入
用户接入与自助服务：凭证生命周期管理
二级凭证体系让真实密钥不出内网，员工自助查看个人用量。
- 二级凭证动态替换真实密钥
- 凭证绑定员工/应用与访问权限
- 个人用量自助看板与报表导出
sk-***-a1b2脱敏展示AES-256
创建
绑定
使用
回收
员工自助 · 用量看板 / 报表导出
配额管控
用量配额与预算管控
多层级、可叠加、实时生效的配额体系，将成本风险控制在预算范围内。
- 凭证 / 员工 / 部门 / 组四级配额
- 代理路径实时校验，超额返回 429
- 80% 预警阈值与策略联动
组配额
80%部门配额
58%员工配额
80%凭证配额
66%超额返回 429
429可观测性
全链路可观测性与用量审计
全量日志 + 多维分析 + 成本核算，故障与异常用量均可回溯到单次调用。
- 调用链路全量日志（Kafka 异步推送）
- 员工 / 部门 / 应用多维用量分析
- 成本核算与合规审计报告
12.4M
调用量
99.97%
成功率
¥8,320
费用
日志流Kafka 异步推送
12:00:03sk-***-a1→ deepseek-chat2001.2s
12:00:05sk-***-b2→ qwen-max2002.8s
12:00:09sk-***-c3→ gpt-4o4290.1s
12:00:11sk-***-d4→ deepseek-r12004.6s