额度与速度管控

配置系统默认额度和 Key 级别的访问速度限制,实现精细化的 Token 用量管控

说明:Tarogo AI 网关提供两层管控机制——系统级默认配置和 Key 级配置。两者结合实现对每个 Key 的精细化额度与速度控制。

系统默认额度配置

管理员在「系统设置」→「额度管理」页面配置租户级别的默认额度参数。

图 1:系统默认额度配置页面

图 1:系统默认额度配置页面

图 1:系统默认额度配置页面

配置字段说明

字段单位说明
每人每天额度M每个用户每日的 Token 使用上限。1M = 1,000,000 Tokens。
每人每月额度M每个用户每月的 Token 使用上限。
系统默认 RPM次/分钟每分钟允许的最大 API 请求数量。
系统默认 TPMM每分钟允许的最大 Token 消耗量。1M = 1,000,000 Tokens。

配置生效机制

  • 配置保存后,仅对新创建的 Key 生效
  • 已有 Key 的额度配置需要在 Key 列表中逐个编辑修改
  • 每月额度必须大于每日额度
  • RPM 和 TPM 共同构成速度限制

Key 级别速度管控

在创建或编辑 Key 时,管理员可为每个 Key 单独设置速度和额度参数。

速度管控字段

字段必填说明
RPM该 Key 每分钟允许的最大 API 请求数。
TPM该 Key 每分钟允许的最大 Token 消耗量。

Token 额度字段

创建 Key 时还需设置 Token 用量额度上限。

个人 Key

个人 Key 的额度字段与用户信息在同一个区域:

字段说明
日 Token 额度该用户每日的 Token 用量上限
月 Token 额度该用户每月的 Token 用量上限

应用 Key

应用 Key 的额度字段位于「额度管控」区域,仅在勾选「是否按用户统计」后生效:

字段说明
日 Token 额度每个终端用户每日的 Token 用量上限
月 Token 额度每个终端用户每月的 Token 用量上限

注:如果未勾选「是否按用户统计」,所有请求共享一个额度池。

限流行为与告警

超限响应

当 Key 的 RPM 或 TPM 超过限制时,网关返回 HTTP 429 状态码。

额度告警

当 Key 的日用量或月用量超过配额的 80% 时,状态标签变更为橙色告警。

用量统计

Key 列表中使用量列展示「今日已用 / 日配额」及百分比进度条。

重置周期

日额度每日 00:00 重置,月额度每月 1 日 00:00 重置。

注意事项

  • 系统默认配置修改后不影响已创建的 Key
  • 每月额度必须大于每日额度
  • RPM 和 TPM 建议根据实际业务场景合理设置
  • 额度上限以 Token 数为单位
  • 个人 Key 和应用 Key 的额度是每人独立计算
  • 可在 Key 列表中实时查看用量情况