API 速率限制是什麼?限制、重試、上下文
速率限制會限制單一金鑰在特定時間內可向 API 發送的流量上限。本頁說明 API 速率限制的實際運作方式、如何編寫程式碼處理,以及此 API 的限制為何。
更新

重點摘要
- 速率限制限制每分鐘的請求數或進行中的請求數,因此單一客戶端無法使服務過載。
- 速率限制不等於上下文視窗:一個限制流量,另一個限制單一請求的大小。
- 完整金鑰:8 個並行請求與每分鐘 300 次。試用金鑰:2 個並行請求與每分鐘 60 次。
- 透過並行限制、帶退避的重試以及查看回應標頭來處理限制。
速率限制的定義
那麼,API 速率限制是什麼?它是一條規則,規定一個帳戶或金鑰在時間視窗內可以進行多少次呼叫,或同時可以運行多少呼叫。如果你超過限制,伺服器會拒絕額外的呼叫,而不是服務它們。大多數 HTTP API 會以狀態碼 429(Too Many Requests)來標示此情況,許多 API 還會加入標頭告知你何時重試。請查看各服務的說明文件以了解其確切行為。
限制存在是因為模型伺服器運算資源有限。若無這些限制,單一迴圈密集的腳本可能拖慢其他使用者。對你而言,這代表兩件事:程式碼需能處理拒絕並恢復,且設計應分散工作而非一次性全部送出。
你會遇到的三種限制
供應商會混合使用這些限制,因此請閱讀哪些限制適用於你的金鑰。
| 類型 | 計算對象 | 典型影響 |
|---|---|---|
| 每分鐘請求數 | 滾動分鐘內啟動的呼叫 | 即使每次呼叫很小,突發流量也會被拒絕 |
| 並行請求 | 同時進行中的呼叫 | 超出限制的平行 worker會被拒絕或排隊 |
| Token 或支出配額 | 每分鐘、每天或每月使用的 token 或金額 | 大型提示詞會比小型提示詞更快觸及限制 |
對於語言模型而言,並行性比一般 API 更重要,因為單一補全可能需要數秒。十個 worker每個都在等待長回覆,會佔用十個槽位很長一段時間。
此 API 的限制
此 API 限制每分鐘的請求數和並行性,依金鑰分類:
| 金鑰類型 | 並行請求 | 每分鐘請求數 |
|---|---|---|
| 完整金鑰(含額度) | 8 | 300 |
| 試用金鑰 | 2 | 60 |
還有兩個數字值得了解。最大請求主體為 8 MB,每個回應都帶有你可以讀取的標頭:X-Request-Id 用於在尋求協助時識別呼叫,X-Balance-USD 用於查看剩餘額度,以及 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用於查看適用於你的金鑰的限制。你可以使用 curl 查看它們:
curl -i https://api.abliteratedapi.com/v1/chat/completions -H "Authorization: Bearer $ABLITERATED_API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'
無論你使用哪個客戶端,限制都相同;此 API 與 OpenAI 相容,因此只要將 Base URL 更改為 https://api.abliteratedapi.com/v1,任何 OpenAI SDK 均可運作。
你實際上會觸及哪種限制?
將兩個數字相除。完整金鑰可以同時運行 8 個請求和每分鐘 300 個,平均每秒 5 個。要以只有 8 個進行中請求達到每分鐘 300 個,每次呼叫平均必須在 1.6 秒內完成(8 x 60 / 300)。當回覆超過幾句話時,語言模型的回應通常比這更長,因此在完整金鑰上,並行限制往往會先被觸及。
考慮一個假設情況,平均呼叫持續 10 秒。八個槽位則讓你每分鐘獲得 8 x 60 / 10 = 48 個請求,遠低於 300。試用金鑰的相同邏輯:2 個槽位和每分鐘 60 個,意味著呼叫需在 2 秒內完成,每分鐘限制才會開始起作用。這些持續時間僅為說明,並非測量值。請測量你自己的呼叫並代入實際數值。
實用建議:將你的worker 池大小設定為並行限制,而非請求限制,並讓每分鐘限制作為安全網。
如何在程式碼中處理限制
三個習慣幾乎涵蓋所有情況。
- 自行限制並行性。 大小等於你的並行限制的訊號量意味著你很少會被拒絕。
- 使用指數退避和抖動進行重試。 等待 1 秒,然後 2 秒,然後 4 秒,並加入隨機比例,以免許多 worker同時重試。在幾次嘗試後停止。
- 不要盲目重試。 格式錯誤的請求或錯誤的金鑰每次都會失敗。僅在每分鐘請求數和臨時伺服器錯誤時重試。
官方的 OpenAI Python SDK 已經在 429 和伺服器錯誤時使用退避進行重試,你可以透過 max_retries 控制它。結合訊號量,批次作業看起來像這樣:
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key=os.environ["ABLITERATED_API_KEY"],
max_retries=5,
)
sem = asyncio.Semaphore(8) # use 2 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one short fact about the number {n}." for n in range(40)]
answers = await asyncio.gather(*(ask(p) for p in prompts))
print(len(answers), "answers")
asyncio.run(main())
四十個提示詞通過,同時不超過八個。如果你建立自己的客戶端,請在其中放入相同的兩個概念:對進行中呼叫的限制,以及逐漸增長的重試延遲。
速率限制不等於上下文視窗
人們經常將兩者混淆,因為當你要求太多時,兩者都會產生錯誤。速率限制控制你發出多少請求。上下文視窗控制單一請求可以有多大。
在此 API 上,上下文視窗為 100,000 token,計算提示詞和補全的總和。如果你的提示詞為 95,000 token,則最多剩下 5,000 用於回覆。max_tokens 參數是可選的:省略它,補全可以使用視窗剩餘的任何空間。當你知道答案應該很短時,設定它仍是一個好習慣,因為輸出 token 的成本為每 1M $0.50,而輸入為每 1M $0.15。完整的 95,000 token 提示詞成本為 95,000 x 0.15 / 1,000,000 = $0.01425 的輸入成本。
速率限制不會縮小上下文視窗,大型上下文也不會消耗額外的速率限制。每次呼叫都是一個請求,無論其大小為何,只要主體保持在 8 MB 以下。
串流輸出與速率限制
設定 stream: true 時,回應會透過伺服器發送事件(SSE)逐 token 傳回,用量統計則在結尾提供。串流呼叫仍會佔用一個並行槽位,直到串流結束;若讀取端保持連線,會佔用比預期更久的槽位。請關閉不再需要的串流。
常見錯誤
- 無 worker 數量限制。 具有 50 個 worker的執行緒池,但限制為 8,意味著大多數呼叫都會被拒絕。將池匹配到並行限制。
- 立即重試。 在遭到拒絕後立即重試會在最糟糕的時刻增加負載。請等待,並每次延長等待時間。
- 將所有錯誤視為速率限制。 逾時、金鑰無效和請求體過大各自需要不同的修正方式。記錄狀態碼與
X-Request-Id標頭。 - 在所有用途共用同一支金鑰。 夜間批次作業與即時聊天功能共用同一支金鑰時,會競爭相同的 8 個槽位。請使用不同的金鑰,或將批次作業安排在離峰時段。
- 忽略緩慢的串流輸出。 停止讀取但保持連線開啟的用戶端仍會佔用一個槽位。
在日誌中加入拒絕呼叫的計數器。如果數值維持為零,表示你的上限設定正確。如果數值上升,請在增加重試次數之前降低池大小。
根據限制進行規劃
速率限制與預算息息相關。8 個槽位全速運作會快速消耗額度,因此在開始工作前請決定願意消耗多少額度。計費方式為隨用隨付,額度永不過期,且失敗或遭拒絕的請求不收費。請閱讀 定價頁面 了解費率與儲值贈額,以及 快速入門 了解請求參數。若要安全地測試重試邏輯,請 取得 API 金鑰 並使用免費試用額度,無需綁定信用卡。請記住,試用額度適用較低的限制。
更多指南
問答
當我超過每分鐘請求數時會發生什麼事?
伺服器會拒絕額外的請求,通常會傳回 HTTP 429,你的程式碼應等待並重試。放慢速度或降低並行請求數量,直到錯誤停止為止。
此 API 的限制為何?
完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個並行請求和每分鐘 60 個請求。
每分鐘請求數與上下文視窗相同嗎?
不相同。速率限制控制你在一段時間內可以發送多少請求。上下文視窗(此處為 100,000 token)控制單一請求及其回覆的大小上限。
我如何從回應中查看我的限制?
請讀取 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 回應標頭。X-Balance-USD 標頭顯示你的剩餘額度,X-Request-Id 則用於標識特定請求。
遭拒絕的請求會收費嗎?
不會。此 API 不對失敗或遭拒絕的請求收費。