DE ▾

Was ist ein API-Ratenlimit? Limits, Retries, Kontext

Ein Ratenlimit begrenzt, wie viel Traffic ein Schlüssel an eine API in einem bestimmten Zeitraum senden darf. Diese Seite erklärt, was ein API-Ratenlimit in der Praxis ist, wie du es in Code umgehst und welche Limits für diese API gelten.

Aktualisiert

Tor mit acht Spuren, das leichte Pakete durchlässt, zur Veranschaulichung von API-Ratenlimits und Parallelität

Wichtige Punkte

  • Ein Ratenlimit beschränkt Anfragen pro Minute oder laufende Anfragen, damit ein Client den Dienst nicht überlasten kann.
  • Ratenlimits sind nicht dasselbe wie das Kontextfenster: Eines begrenzt den Traffic, das andere die Größe einer einzelnen Anfrage.
  • Voller Schlüssel: 8 parallele Anfragen und 300 pro Minute. Trial-Schlüssel: 2 parallel und 60 pro Minute.
  • Behandle Limits mit einer Parallelitätsbegrenzung, Retries mit Backoff und einem Blick auf die Antwort-Header.

Was ein Ratenlimit ist

Also, was ist ein API-Ratenlimit? Es ist eine Regel, die festlegt, wie viele Aufrufe ein Konto oder Schlüssel in einem Zeitfenster tätigen darf oder wie viele gleichzeitig ausgeführt werden können. Wenn du es überschreitest, verweigert der Server die zusätzlichen Aufrufe, anstatt sie zu bedienen. Die meisten HTTP-APIs signalisieren dies mit dem Statuscode 429 (Too Many Requests), und viele fügen einen Header hinzu, der dir sagt, wann du es erneut versuchen sollst. Prüfe die Docs jedes Dienstes für das genaue Verhalten.

Limits existieren, weil ein Modellserver eine feste Menge an Rechenleistung hat. Ohne sie könnte ein Skript in einer engen Schleife alle anderen verlangsamen. Für dich als Entwickler bedeutet das zwei Dinge: Dein Code muss Verweigerungen erwarten und sich davon erholen, und dein Design sollte die Arbeit verteilen, anstatt sie alle auf einmal abzufeuern.

Die drei Arten von Limits, auf die du stößt

Anbieter mischen und matchen diese, also lies nach, welche für deinen Schlüssel gelten.

TypWas gezählt wirdTypische Auswirkung
Anfragen pro MinuteAufrufe, die in einer gleitenden Minute gestartet werdenBursts werden abgelehnt, auch wenn jeder Aufruf klein ist
ParallelitätGleichzeitig laufende AufrufeParallele Worker jenseits der Begrenzung werden abgelehnt oder in die Warteschlange gestellt
Token- oder Ausgaben-QuotaToken oder Geld, die pro Minute, Tag oder Monat verbraucht werdenGroße Prompts erreichen die Begrenzung früher als kleine

Parallelität ist für Sprachmodelle wichtiger als für normale APIs, da eine einzelne Completion viele Sekunden dauern kann. Zehn Worker, die jeweils auf eine lange Antwort warten, belegen die ganze Zeit zehn Slots.

Die Limits dieser API

Diese API begrenzt Anfragen pro Minute und Parallelität pro Schlüssel:

SchlüsseltypParallele AnfragenAnfragen pro Minute
Voller Schlüssel (mit Guthaben)8300
Trial-Schlüssel260

Zwei weitere Zahlen sind es wert, bekannt zu sein. Der Request-Body darf maximal 8 MB groß sein, und jede Antwort enthält Header, die du lesen kannst: X-Request-Id zur Identifizierung eines Aufrufs, wenn du um Hilfe bittest, X-Balance-USD für dein verbleibendes Guthaben und X-RateLimit-Limit-Requests sowie X-RateLimit-Limit-Concurrency für die Limits, die für deinen Schlüssel gelten. Du kannst sie mit curl sehen:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

Die Limits sind unabhängig vom Client, den du verwendest; die API ist OpenAI-kompatibel, daher funktioniert jedes OpenAI SDK, sobald du die Base URL zu https://api.abliteratedapi.com/v1 änderst.

Welches Limit wirst du tatsächlich erreichen?

Teile die beiden Zahlen. Ein voller Schlüssel kann 8 Anfragen gleichzeitig und 300 pro Minute ausführen, was einem Durchschnitt von 5 pro Sekunde entspricht. Um 300 pro Minute mit nur 8 laufenden Aufrufen zu erreichen, müsste jeder Aufruf im Durchschnitt in 1,6 Sekunden abgeschlossen sein (8 x 60 / 300). Antworten von einem Sprachmodell dauern in der Regel länger als das, wenn sie mehr als ein paar Sätze umfassen, also bindet auf einem vollen Schlüssel das Parallelitätslimit tendenziell zuerst.

Nimm einen hypothetischen Fall, bei dem der durchschnittliche Aufruf 10 Sekunden dauert. Acht Slots geben dir dann 8 x 60 / 10 = 48 Anfragen pro Minute, weit unter 300. Dieselbe Logik auf einem Trial-Schlüssel: 2 Slots und 60 pro Minute bedeuten, dass Aufrufe unter 2 Sekunden benötigt werden, bevor das pro-Minute-Limit relevant wird. Diese Dauern sind eine Illustration, keine Messung. Miss deine eigenen Aufrufe und setze die reale Zahl ein.

Der praktische Rat: Dimensioniere deinen Worker-Pool nach dem Parallelitätslimit, nicht nach dem Anfragelimit, und lasse das pro-Minute-Limit als Sicherheitsnetz wirken.

Wie man Limits im Code behandelt

Drei Gewohnheiten decken fast jeden Fall ab.

  1. Begrenze die Parallelität selbst. Ein Semaphore, das auf dein Parallelitätslimit skaliert ist, bedeutet, dass du selten überhaupt abgelehnt wirst.
  2. Wiederhole mit exponentiellem Backoff und Jitter. Warte 1 Sekunde, dann 2, dann 4, und füge einen zufälligen Bruchteil hinzu, damit viele Worker nicht im Takt wiederholen. Stoppe nach einigen Versuchen.
  3. Wiederhole nicht blind. Eine fehlerhafte Anfrage oder ein falscher Schlüssel wird jedes Mal fehlschlagen. Wiederhole nur bei Ratenlimit und temporären Serverfehlern.

Das offizielle OpenAI Python SDK wiederholt bereits bei 429 und Serverfehlern mit Backoff, und du steuerst es mit max_retries. Kombiniert mit einem Semaphore sieht ein Batch-Job so aus:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

Vierzig Prompts gehen durch, nie mehr als acht gleichzeitig. Wenn du deinen eigenen Client baust, füge dieselben beiden Ideen ein: eine Begrenzung für laufende Aufrufe und eine wachsende Retry-Verzögerung.

Ratenlimits sind nicht das Kontextfenster

Die Leute verwechseln die beiden oft, weil beide Fehler produzieren, wenn du zu viel anforderst. Ein Ratenlimit steuert, wie viele Anfragen du stellst. Das Kontextfenster steuert, wie groß eine einzelne Anfrage sein darf.

Bei dieser API beträgt das Kontextfenster 100.000 Token, einschließlich Prompt und Completion zusammen. Wenn dein Prompt 95.000 Token hat, bleiben maximal 5.000 für die Antwort. Der Parameter max_tokens ist optional: Lass ihn weg, und die Completion kann alles verwenden, was das Fenster übrig hat. Es trotzdem einzustellen ist jedoch eine gute Gewohnheit, wenn du weißt, dass die Antwort kurz sein sollte, weil Output-Token 0,50 $ pro 1M kosten gegenüber 0,15 $ pro 1M für Input. Ein voller 95.000-Token-Prompt kostet 95.000 x 0,15 / 1.000.000 = 0,01425 $ im Input.

Ein Ratenlimit verkleinert nicht das Kontextfenster, und ein großes Kontextfenster verbraucht kein zusätzliches Ratenlimit. Jeder Aufruf ist eine Anfrage, unabhängig von seiner Größe, solange der Textkörper unter 8 MB bleibt.

Streaming und Ratenlimits

Mit stream: true kommt die Antwort über Server-Sent Events Token für Token zurück, und die Nutzungszahlen kommen am Ende an. Ein gestreamter Aufruf belegt weiterhin einen Parallelitäts-Slot, bis der Stream endet, also hält ein langsamer Reader, der Verbindungen offen hält, länger Slots als du erwartest. Schließe Streams, die du nicht mehr brauchst.

Häufige Fehler

  • Keine Worker-Begrenzung. Ein Thread-Pool mit 50 Workern gegen ein Limit von 8 bedeutet, dass die meisten Aufrufe abgelehnt werden. Passe den Pool an das Parallelitätslimit an.
  • Sofortige Wiederholungen. Ein sofortiger Retry nach einer Ablehnung erhöht die Last genau dann, wenn sie am schlimmsten ist. Warte, und warte bei jedem Versuch länger.
  • Jeden Fehler als Ratenlimit zu behandeln. Ein Timeout, ein ungültiger Schlüssel und ein zu großer Body benötigen jeweils eine andere Lösung. Logge den Statuscode und den X-Request-Id-Header.
  • Einen Schlüssel für alles teilen. Ein nächtlicher Batch-Job und ein Live-Chat-Feature auf demselben Schlüssel konkurrieren um dieselben 8 Slots. Verwende separate Schlüssel oder plane den Batch für die ruhigen Stunden.
  • Langsame Streams ignorieren. Ein Client, der das Lesen stoppt, die Verbindung aber offen hält, belegt weiterhin einen Slot.

Füge deinem Logging einen Zähler für abgelehnte Aufrufe hinzu. Wenn er bei Null bleibt, ist dein Limit korrekt eingestellt. Wenn er steigt, verringere die Pool-Größe, bevor du Retries hinzufügst.

Planung basierend auf Limits

Ratenlimits und Budget sind verknüpft. Acht Slots bei voller Auslastung können Guthaben schnell verbrauchen, also entscheide, wie viel du ausgeben möchtest, bevor du einen Job startest. Die Abrechnung erfolgt nach Pay as you go, mit Guthaben, das nie verfällt und ohne Gebühren für fehlgeschlagene oder abgelehnte Anfragen. Lies die Preisseite für Tarife und Aufladeboni sowie den Quickstart für Anfrageparameter. Um deine Wiederholungslogik sicher zu testen, hole dir einen API-Schlüssel und nutze das Testguthaben, das keine Karte benötigt. Denke daran, dass es die niedrigeren Trial-Limits nutzt.

Fragen und Antworten

Was passiert, wenn ich ein Anfragen pro Minute überschreite?

Der Server lehnt die zusätzlichen Anfragen ab, typischerweise mit HTTP 429, und dein Code sollte warten und erneut versuchen. Verlangsame den Durchsatz oder reduziere die parallelen Anfragen, bis die Fehler verschwinden.

Welche Limits hat diese API?

Ein voller Schlüssel erlaubt 8 parallele Anfragen und 300 Anfragen pro Minute. Ein Trial-Schlüssel erlaubt 2 parallele Anfragen und 60 pro Minute.

Ist ein Ratenlimit dasselbe wie das Kontextfenster?

Nein. Ein Ratenlimit steuert, wie viele Anfragen du über die Zeit senden kannst. Das Kontextfenster, hier 100.000 Token, steuert, wie groß eine einzelne Anfrage und ihre Antwort sein dürfen.

Wie sehe ich meine Limits in einer Antwort?

Lies die Response-Header X-RateLimit-Limit-Requests und X-RateLimit-Limit-Concurrency. Der Header X-Balance-USD zeigt dein verbleibendes Guthaben, und X-Request-Id identifiziert einen spezifischen Aufruf.

Verursachen abgelehnte Anfragen Kosten?

Nein. Fehlgeschlagene oder abgelehnte Anfragen werden auf dieser API nicht berechnet.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten