中文 ▾

API 速率限制是什么?限制、重试与上下文

速率限制限制了单个密钥在给定时间内向 API 发送的流量量。本页解释了实践中 API 速率限制的含义、如何在代码中应对它,以及此 API 的限制。

已更新

带有八个车道的闸门通过轻量数据包,说明 API 速率限制和并发

要点

  • 速率限制限制每分钟请求数或进行中的请求数,因此一个客户端无法使服务过载。
  • 速率限制与上下文窗口不同:一个限制流量,另一个限制单个请求的大小。
  • 完整密钥:8 个并发请求和每分钟 300 个。试用密钥:2 个并发和每分钟 60 个。
  • 通过并发上限、带退避的重试和查看响应头来处理限制。

速率限制是什么

那么,什么是 API 速率限制?它是一条规则,规定一个账户或密钥在时间窗口内可以进行多少次调用,或同时运行多少次。如果超过限制,服务器会拒绝额外调用而不是提供服务。大多数 HTTP API 使用状态码 429(Too Many Requests)来指示这一点,许多还会添加一个头信息告诉你何时重试。查看每个服务的文档以获取其确切行为。

限制的存在是因为模型服务器拥有固定的计算量。如果没有它们,一个紧密循环中的脚本可能会减慢其他人的速度。对于你作为开发者来说,这意味着两件事:你的代码必须预期拒绝并从中恢复,并且你的设计应该分散工作,而不是一次性全部发出。

你会遇到的三种限制

提供商混合使用这些限制,因此请阅读适用于你的密钥的限制。

类型它计算什么典型效果
每分钟请求数滚动一分钟内的调用即使每次调用很小,突发也会被拒绝
并发同时进行的调用超出上限的并行 worker会被拒绝或排队
Token 或支出配额每分钟、每天或每月使用的 Token 或资金大型提示词比小型提示词更快达到上限

对于语言模型而言,并发能力比普通接口更重要,因为单个补全可能需要数秒。十个 worker各自等待长回复,会一直占用十个槽位。

此 API 的限制

此 API 限制每分钟请求数和并发数,每个密钥:

密钥类型并发请求每分钟请求数
完整密钥(带额度)8300
试用密钥260

另外两个数字值得了解。最大请求体为 8 MB,每个响应都带有你可以读取的头:X-Request-Id 用于在寻求帮助时标识调用,X-Balance-USD 用于你的剩余额度,以及 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用于适用于你的密钥的限制。你可以使用 curl 查看它们:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

无论你使用哪个客户端,限制都是相同的;API 与 OpenAI 兼容,因此一旦你将 Base URL 更改为 https://api.abliteratedapi.com/v1,任何 OpenAI SDK 都可以工作。

你会实际遇到哪种限制?

将两个数字相除。一个完整密钥可同时运行 8 个请求,每分钟 300 个,即平均每秒 5 个。若仅保持 8 个并发请求达到每分钟 300 个,则每次调用平均需在 1.6 秒内完成(8 x 60 / 300)。当回复超过几句话时,语言模型的回复通常耗时更长,因此在完整密钥上,并发限制往往会先达到上限。

假设一个平均调用耗时 10 秒的情况。8 个槽位则每分钟可处理 8 x 60 / 10 = 48 个请求,远低于 300 个。同样的逻辑适用于试用密钥:2 个槽位和每分钟 60 个请求的限制意味着,在每分钟限制生效前,调用需在 2 秒内完成。这些时长仅为说明,并非实测。请对你的调用计时并代入实际数值。

实用建议:将你的worker 池大小设置为并发限制,而不是请求限制,并让每分钟限制作为安全网。

如何在代码中处理限制

三种习惯涵盖了几乎所有情况。

  1. 自己限制并发。 按并发限制设置大小的信号量意味着你很少会被拒绝。
  2. 带指数退避和抖动重试。 等待 1 秒,然后 2 秒,然后 4 秒,再加上一个随机的小数部分,以便许多 worker不会同步重试。几次尝试后停止。
  3. 不要盲目重试。 格式错误的请求或错误的密钥每次都会失败。仅在每分钟请求数和临时服务器错误时重试。

官方 OpenAI Python SDK 已对 429 错误和服务器错误进行带退避的重试,你可以通过 max_retries 控制。结合信号量,批处理作业如下所示:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

四十个提示词通过,同时不超过八个。如果你构建自己的客户端,在其中放入相同的两个想法:对进行中调用的限制,以及增长的重试延迟。

速率限制不是上下文窗口

人们经常将两者混淆,因为两者在你请求太多时都会产生错误。速率限制控制你发出多少请求。上下文窗口控制一个请求可以有多大。

在此 API 中,上下文窗口为 100,000 个 token,包含提示词和回复。如果你的提示词为 95,000 个 token,则最多剩下 5,000 个用于回复。max_tokens 参数是可选的:不设置它,回复可以使用窗口剩余的所有空间。当你知道答案应该很短时,设置它仍然是一个好习惯,因为输出 token 的成本为每 1M 个 $0.50,而输入为每 1M 个 $0.15。一个完整的 95,000 个 token 的提示词在输入上的成本为 95,000 x 0.15 / 1,000,000 = $0.01425。

速率限制不会缩小上下文窗口,大型上下文不会消耗额外的速率限制。每次调用都是一个请求,无论其大小如何,只要主体保持在 8 MB 以下。

流式输出和速率限制

使用 stream: true 时,回复通过服务器发送事件逐 token 返回,用量统计在末尾到达。流式调用在流结束前仍会占用一个并发槽位,因此保持连接打开的慢速读取方会比预期更久地占用槽位。关闭不再需要的流。

常见错误

  • 无 worker 数量限制。 拥有 50 个 worker的线程池,但限制为 8,这意味着大多数请求会被拒绝。应将池匹配到并发限制。
  • 立即重试。 在被拒绝后立即重试会在最糟糕的时刻增加负载。等待,且每次等待时间递增。
  • 将所有错误视为速率限制。 超时、密钥错误和请求体过大各自需要不同的修复方法。记录状态码和 X-Request-Id 标头。
  • 在所有地方共享同一个密钥。夜间批处理作业和实时聊天功能在同一个密钥下会争夺相同的 8 个并发槽位。使用不同的密钥,或者将批处理安排在低峰时段。
  • 忽略缓慢的流式输出。 一个停止读取但保持连接打开的客户端仍然会占用一个槽位。

在日志中添加拒绝调用的计数器。如果它保持为零,说明你的限制设置正确。如果它上升,请在增加重试之前减小并发池大小。

围绕限制进行规划

速率限制和预算是关联的。8 个槽位全速运行可能会快速消耗额度,因此在开始任务前请决定你愿意消耗多少。计费方式为按量付费,额度永不过期,失败或被拒绝的请求不收费。阅读定价页面了解费率和充值优惠,阅读快速入门了解请求参数。要安全地测试重试逻辑,获取 API 密钥并使用免费试用额度,无需绑定信用卡。请记住它运行在较低的试用限制下。

问答

当我超过每分钟请求数时会发生什么?

服务器会拒绝额外的请求,通常返回 HTTP 429,你的代码应该等待并重试。降低速度或减少并发请求,直到错误停止。

该 API 的限制是多少?

完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发请求和每分钟 60 个请求。

每分钟请求数与上下文窗口相同吗?

不。速率限制控制你随时间发送的请求数量。上下文窗口(此处为 100,000 token)控制单个请求及其回复的大小。

如何从响应中查看我的限制?

读取 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 响应标头。X-Balance-USD 标头显示你的剩余额度,X-Request-Id 标识特定调用。

被拒绝的请求会收费吗?

不会。失败或被拒绝的请求在此 API 上不会收费。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥