JA ▾

APIレート制限とは?制限、リトライ、コンテキスト

レート制限は、特定の期間内に1つのAPIキーがAPIに送信できるトラフィックの量を制限します。このページでは、実務におけるAPIのレート制限とは何か、コードでどのように対応するか、そしてこのAPIの制限がどのようなものかについて説明します。

更新

APIレート制限と同時実行数を示す、軽いパケットが通過する8車線のゲート

主要ポイント

  • レート制限は1分あたりのリクエスト数や実行中のリクエスト数を制限し、1つのクライアントがサービスを過負荷にしないようにします。
  • レート制限はコンテキストウィンドウとは異なります:1つはトラフィックを制限し、もう1つは単一リクエストのサイズを制限します。
  • フルキー:同時8リクエスト、1分あたり300リクエスト。トライアルキー:同時2リクエスト、1分あたり60リクエスト。
  • 同時実行数の制限、バックオフ付きのリトライ、およびレスポンスヘッダーの確認により制限を処理します。

レート制限とは

では、APIレート制限とは何でしょうか?それは、1つのアカウントやキーが一定の時間枠内で実行できる呼び出しの数、または同時に実行できる数を示すルールです。これを超えると、サーバーは追加の呼び出しを拒否し、処理しません。ほとんどのHTTP APIはステータスコード429(Too Many Requests)でこれを通知し、再試行時期を示すヘッダーを追加することもあります。各サービスの正確な動作についてはドキュメントを確認してください。

モデルサーバーには計算資源の固定量しかありません。制限がなければ、ループ内のスクリプトが他のすべてのユーザーの処理を遅くする可能性があります。開発者にとって、これは2つのことを意味します:コードは拒否を想定し回復可能であること、そして設計は一度にすべてを送信するのではなく、仕事を分散させるべきであることです。

遭遇する3種類の制限

プロバイダーはこれらを組み合わせて使用するため、自分のキーにどの制限が適用されるかを確認してください。

タイプカウントされるもの典型的な影響
1分あたりのリクエスト数ローリング1分間の呼び出し数各呼び出しが小さくても、バーストは拒否されます
同時実行同時に実行中の呼び出し数制限を超えた並行ワーカーは拒否またはキューに入れられます
トークンまたは支出のクォータ1分、1日、または1ヶ月あたりのトークンまたは使用金額大きなプロンプトは小さなプロンプトよりも早く制限に達します

言語モデルでは、通常のAPIよりも同時実行数が重要になります。単一の完了応答には数秒かかることがあるため、10個のワーカーが長い応答を待機している間、10個のスロットを占有し続けます。

このAPIの制限

このAPIは、キーごとに1分あたりのリクエスト数と同時実行数を制限します:

キーの種類同時リクエスト1分あたりのリクエスト数
フルキー(クレジットあり)8300
トライアルキー260

知っておく価値のある他の2つの数値があります。最大リクエストボディは8 MBで、すべての応答には読み取れるヘッダーが含まれます:X-Request-Idはサポートに問い合わせる際に呼び出しを識別するために、X-Balance-USDは残高のために、X-RateLimit-Limit-RequestsおよびX-RateLimit-Limit-Concurrencyはキーに適用される制限のために使用します。curlで確認できます:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

使用するクライアントに関係なく制限は同じです。このAPIはOpenAI互換なので、Base URLをhttps://api.abliteratedapi.com/v1に変更するだけで、任意のOpenAI SDKが機能します。

実際にどの制限に到達するか

2つの数値を割ります。フルキーは同時に8リクエスト、1分あたり300リクエストを実行できます。これは1秒あたり平均5リクエストです。1分あたり300リクエストに達し、同時に実行中なのは8リクエストだけの場合、各呼び出しは平均して1.6秒以内に完了する必要があります(8 x 60 / 300)。言語モデルからの応答は、数文を超える場合、通常これより長くかかります。そのため、フルキーでは同時実行数の制限が先に適用される傾向があります。

平均的な呼び出しに10秒かかると仮定します。8つのスロットがあれば、8 x 60 / 10 = 1分あたり48リクエストとなり、300を大幅に下回ります。トライアルキーの場合も同じ論理が適用され、2つのスロットで1分あたり60の制限がある場合、1分あたりの制限が効いてくる前に呼び出しが2秒未満である必要があります。これらの数値は例示であり、実際の測定値ではありません。実際の呼び出し時間を計測し、実際の数値を適用してください。

実用的なアドバイス:ワーカープールのサイズはリクエスト制限ではなく同時実行数の制限に合わせて設定し、1分あたりの制限をセーフティネットとして機能させます。

コードでの制限の処理方法

3つの習慣がほぼすべてのケースをカバーします。

  1. 同時実行数を自分で制限する。同時実行数の制限に合わせてセマフォを設定すれば、拒否されることはほとんどありません。
  2. 指数関数的バックオフとジッターを伴うリトライ。 1秒、次に2秒、次に4秒待機し、ランダムな変動を加えて、複数のワーカーが同時にリトライしないようにします。数回の試行で停止します。
  3. 盲目的に再試行しない。不正なリクエストや無効なキーは毎回失敗します。1分あたりのリクエスト数と一時的なサーバーエラーの場合のみ再試行します。

公式のOpenAI Python SDKは、429およびサーバーエラーに対してバックオフ付きでリトライを実行し、max_retriesで制御できます。セマフォと組み合わせると、バッチジョブは次のようになります。

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

40件のプロンプトが処理され、同時に8件を超えません。独自のクライアントを構築する場合は、実行中の呼び出しの制限と、増加する再試行遅延という2つのアイデアを同じように実装してください。

レート制限はコンテキストウィンドウではない

両方とも要求が多すぎるとエラーを発生させるため、人々はこれらを混同することがよくあります。レート制限はリクエストの数を制御します。コンテキストウィンドウは1つのリクエストのサイズを制御します。

このAPIでは、プロンプトと補完を合わせて100,000トークンがコンテキストウィンドウとなります。プロンプトが95,000トークンの場合、返信に使用できるのは最大5,000トークンです。max_tokensパラメータはオプションです:指定しない場合、補完はウィンドウの残りをすべて使用できます。回答が短くて済むことが分かっている場合は、出力トークンが1Mあたり$0.50、入力トークンが1Mあたり$0.15であるため、設定しておくのは良い習慣です。95,000トークンのプロンプトの入力コストは、95,000 x 0.15 / 1,000,000 = $0.01425です。

レート制限はコンテキストウィンドウを縮小せず、大きなコンテキストも追加のレート制限を使用しません。ボディが8 MB未満であれば、サイズに関係なく各呼び出しは1つのリクエストとして扱われます。

ストリーミングとレート制限

stream: trueを使用すると、応答はサーバー送信イベント経由でトークンごとに返され、使用状況は最後に通知されます。ストリーミング呼び出しはストリームが終了するまで1つの同時実行数スロットを占有するため、接続を開き続ける遅いリーダーは予想以上にスロットを占有します。不要なストリームは閉じてください。

よくあるミス

  • ワーカー制限なし。制限が8に対して50個のワーカーを持つスレッドプールでは、ほとんどの呼び出しが拒否されます。プールを同時実行数の制限に合わせてください。
  • 即時リトライ。 拒否後にすぐに再試行すると、最も混雑しているタイミングで負荷が増加します。待ち、そしてその都度長く待ちましょう。
  • すべてのエラーをレート制限とみなすこと。 タイムアウト、無効なキー、サイズ超過のボディはそれぞれ異なる対応が必要です。ステータスコードとX-Request-Idヘッダーをログに記録してください。
  • すべての機能で1つのキーを共有すること。 同じキー上の夜間バッチジョブとライブチャット機能は、同じ8つのスロットを競合します。別々のキーを使用するか、バッチを閑散時間帯にスケジュールしてください。
  • 低速なストリーミングを無視すること。 読み取りを停止しても接続を開いたままにしているクライアントは、スロットを占有したままになります。

拒否された呼び出しのカウンターをログに追加してください。ゼロのままなら、上限は適切に設定されています。増加する場合は、リトライを追加する前にプールサイズを小さくしてください。

制限に合わせた計画

レート制限と予算は連動しています。フル回転時の8スロットはクレジットを急速に消費する可能性があるため、ジョブを開始する前にどれくらい消費するかを決定してください。課金は従量制で、クレジットは期限切れにならず、失敗または拒否されたリクエストには課金されません。料率とチャージボーナスについては料金ページを、リクエストパラメータについてはクイックスタートをお読みください。リトライロジックを安全にテストするには、API キーを取得し、カード不要の無料トライアルクレジットを使用してください。ただし、これは低いトライアル制限で動作することに注意してください。

質問と回答

1分あたりのリクエスト数を超えた場合はどうなりますか?

サーバーは追加のリクエストを拒否し、通常はHTTP 429を返します。コードは待機して再試行する必要があります。エラーが停止するまで、スループットを低下させるか並列度を下げてください。

このAPIの制限は何ですか?

フルキーは最大8つの同時リクエストと1分あたり300リクエストが可能です。トライアルキーは最大2つの同時リクエストと1分あたり60リクエストが可能です。

1分あたりのリクエスト数はコンテキストウィンドウと同じですか?

いいえ。レート制限は、一定の期間内にお送りできるリクエストの数を制御します。コンテキストウィンドウ(ここでは100,000トークン)は、1つのリクエストとその返信の大きさを制御します。

レスポンスから制限を確認するにはどうすればよいですか?

X-RateLimit-Limit-RequestsおよびX-RateLimit-Limit-Concurrencyレスポンスヘッダーを確認してください。X-Balance-USDヘッダーには残高が表示され、X-Request-Idは特定の呼び出しを識別します。

拒否されたリクエストには課金されますか?

いいえ。失敗または拒否されたリクエストには課金されません。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得