API 速率限制是什么?限制、重试与上下文
速率限制限制了单个密钥在给定时间内向 API 发送的流量量。本页解释了实践中 API 速率限制的含义、如何在代码中应对它,以及此 API 的限制。
已更新

要点
- 速率限制限制每分钟请求数或进行中的请求数,因此一个客户端无法使服务过载。
- 速率限制与上下文窗口不同:一个限制流量,另一个限制单个请求的大小。
- 完整密钥:8 个并发请求和每分钟 300 个。试用密钥:2 个并发和每分钟 60 个。
- 通过并发上限、带退避的重试和查看响应头来处理限制。
速率限制是什么
那么,什么是 API 速率限制?它是一条规则,规定一个账户或密钥在时间窗口内可以进行多少次调用,或同时运行多少次。如果超过限制,服务器会拒绝额外调用而不是提供服务。大多数 HTTP API 使用状态码 429(Too Many Requests)来指示这一点,许多还会添加一个头信息告诉你何时重试。查看每个服务的文档以获取其确切行为。
限制的存在是因为模型服务器拥有固定的计算量。如果没有它们,一个紧密循环中的脚本可能会减慢其他人的速度。对于你作为开发者来说,这意味着两件事:你的代码必须预期拒绝并从中恢复,并且你的设计应该分散工作,而不是一次性全部发出。
你会遇到的三种限制
提供商混合使用这些限制,因此请阅读适用于你的密钥的限制。
| 类型 | 它计算什么 | 典型效果 |
|---|---|---|
| 每分钟请求数 | 滚动一分钟内的调用 | 即使每次调用很小,突发也会被拒绝 |
| 并发 | 同时进行的调用 | 超出上限的并行 worker会被拒绝或排队 |
| Token 或支出配额 | 每分钟、每天或每月使用的 Token 或资金 | 大型提示词比小型提示词更快达到上限 |
对于语言模型而言,并发能力比普通接口更重要,因为单个补全可能需要数秒。十个 worker各自等待长回复,会一直占用十个槽位。
此 API 的限制
此 API 限制每分钟请求数和并发数,每个密钥:
| 密钥类型 | 并发请求 | 每分钟请求数 |
|---|---|---|
| 完整密钥(带额度) | 8 | 300 |
| 试用密钥 | 2 | 60 |
另外两个数字值得了解。最大请求体为 8 MB,每个响应都带有你可以读取的头:X-Request-Id 用于在寻求帮助时标识调用,X-Balance-USD 用于你的剩余额度,以及 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用于适用于你的密钥的限制。你可以使用 curl 查看它们:
curl -i https://api.abliteratedapi.com/v1/chat/completions -H "Authorization: Bearer $ABLITERATED_API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'
无论你使用哪个客户端,限制都是相同的;API 与 OpenAI 兼容,因此一旦你将 Base URL 更改为 https://api.abliteratedapi.com/v1,任何 OpenAI SDK 都可以工作。
你会实际遇到哪种限制?
将两个数字相除。一个完整密钥可同时运行 8 个请求,每分钟 300 个,即平均每秒 5 个。若仅保持 8 个并发请求达到每分钟 300 个,则每次调用平均需在 1.6 秒内完成(8 x 60 / 300)。当回复超过几句话时,语言模型的回复通常耗时更长,因此在完整密钥上,并发限制往往会先达到上限。
假设一个平均调用耗时 10 秒的情况。8 个槽位则每分钟可处理 8 x 60 / 10 = 48 个请求,远低于 300 个。同样的逻辑适用于试用密钥:2 个槽位和每分钟 60 个请求的限制意味着,在每分钟限制生效前,调用需在 2 秒内完成。这些时长仅为说明,并非实测。请对你的调用计时并代入实际数值。
实用建议:将你的worker 池大小设置为并发限制,而不是请求限制,并让每分钟限制作为安全网。
如何在代码中处理限制
三种习惯涵盖了几乎所有情况。
- 自己限制并发。 按并发限制设置大小的信号量意味着你很少会被拒绝。
- 带指数退避和抖动重试。 等待 1 秒,然后 2 秒,然后 4 秒,再加上一个随机的小数部分,以便许多 worker不会同步重试。几次尝试后停止。
- 不要盲目重试。 格式错误的请求或错误的密钥每次都会失败。仅在每分钟请求数和临时服务器错误时重试。
官方 OpenAI Python SDK 已对 429 错误和服务器错误进行带退避的重试,你可以通过 max_retries 控制。结合信号量,批处理作业如下所示:
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key=os.environ["ABLITERATED_API_KEY"],
max_retries=5,
)
sem = asyncio.Semaphore(8) # use 2 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one short fact about the number {n}." for n in range(40)]
answers = await asyncio.gather(*(ask(p) for p in prompts))
print(len(answers), "answers")
asyncio.run(main())
四十个提示词通过,同时不超过八个。如果你构建自己的客户端,在其中放入相同的两个想法:对进行中调用的限制,以及增长的重试延迟。
速率限制不是上下文窗口
人们经常将两者混淆,因为两者在你请求太多时都会产生错误。速率限制控制你发出多少请求。上下文窗口控制一个请求可以有多大。
在此 API 中,上下文窗口为 100,000 个 token,包含提示词和回复。如果你的提示词为 95,000 个 token,则最多剩下 5,000 个用于回复。max_tokens 参数是可选的:不设置它,回复可以使用窗口剩余的所有空间。当你知道答案应该很短时,设置它仍然是一个好习惯,因为输出 token 的成本为每 1M 个 $0.50,而输入为每 1M 个 $0.15。一个完整的 95,000 个 token 的提示词在输入上的成本为 95,000 x 0.15 / 1,000,000 = $0.01425。
速率限制不会缩小上下文窗口,大型上下文不会消耗额外的速率限制。每次调用都是一个请求,无论其大小如何,只要主体保持在 8 MB 以下。
流式输出和速率限制
使用 stream: true 时,回复通过服务器发送事件逐 token 返回,用量统计在末尾到达。流式调用在流结束前仍会占用一个并发槽位,因此保持连接打开的慢速读取方会比预期更久地占用槽位。关闭不再需要的流。
常见错误
- 无 worker 数量限制。 拥有 50 个 worker的线程池,但限制为 8,这意味着大多数请求会被拒绝。应将池匹配到并发限制。
- 立即重试。 在被拒绝后立即重试会在最糟糕的时刻增加负载。等待,且每次等待时间递增。
- 将所有错误视为速率限制。 超时、密钥错误和请求体过大各自需要不同的修复方法。记录状态码和
X-Request-Id标头。 - 在所有地方共享同一个密钥。夜间批处理作业和实时聊天功能在同一个密钥下会争夺相同的 8 个并发槽位。使用不同的密钥,或者将批处理安排在低峰时段。
- 忽略缓慢的流式输出。 一个停止读取但保持连接打开的客户端仍然会占用一个槽位。
在日志中添加拒绝调用的计数器。如果它保持为零,说明你的限制设置正确。如果它上升,请在增加重试之前减小并发池大小。
围绕限制进行规划
速率限制和预算是关联的。8 个槽位全速运行可能会快速消耗额度,因此在开始任务前请决定你愿意消耗多少。计费方式为按量付费,额度永不过期,失败或被拒绝的请求不收费。阅读定价页面了解费率和充值优惠,阅读快速入门了解请求参数。要安全地测试重试逻辑,获取 API 密钥并使用免费试用额度,无需绑定信用卡。请记住它运行在较低的试用限制下。
更多指南
问答
当我超过每分钟请求数时会发生什么?
服务器会拒绝额外的请求,通常返回 HTTP 429,你的代码应该等待并重试。降低速度或减少并发请求,直到错误停止。
该 API 的限制是多少?
完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发请求和每分钟 60 个请求。
每分钟请求数与上下文窗口相同吗?
不。速率限制控制你随时间发送的请求数量。上下文窗口(此处为 100,000 token)控制单个请求及其回复的大小。
如何从响应中查看我的限制?
读取 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 响应标头。X-Balance-USD 标头显示你的剩余额度,X-Request-Id 标识特定调用。
被拒绝的请求会收费吗?
不会。失败或被拒绝的请求在此 API 上不会收费。