NL ▾

Wat is een API-rate limit? Limieten, retries, context

Een rate limit bepaalt hoeveel verkeer één sleutel naar een API kan sturen binnen een bepaalde tijd. Deze pagina legt uit wat een API rate limit in de praktijk is, hoe je het kunt omzeilen in code en wat de limieten zijn op deze API.

Bijgewerkt

Poort met acht banen voor lichte pakketten, illustratie van API-rate limits en concurrency

Belangrijkste punten

  • Een rate limit beperkt requests per minuut of lopende requests, zodat één client de service niet kan overbelasten.
  • Rate limits zijn niet hetzelfde als het contextvenster: de ene beperkt verkeer, de andere de grootte van één request.
  • Volledige sleutel: 8 gelijktijdige requests en 300 per minuut. Trialsleutel: 2 gelijktijdige en 60 per minuut.
  • Handhaf limieten met een concurrency cap, retries met backoff en een blik op de response headers.

Wat een rate limit is

Dus, wat is een api rate limit? Het is een regel die bepaalt hoeveel calls één account of sleutel mag doen binnen een tijdvenster, of hoeveel er tegelijkertijd kunnen draaien. Als je het overschrijdt, weigert de server de extra calls in plaats van ze te verwerken. De meeste HTTP-API's signaleren dit met statuscode 429 (Too Many Requests), en veel voegen een header toe die aangeeft wanneer je opnieuw moet proberen. Controleer de docs van elke service voor het exacte gedrag.

Limieten bestaan omdat een modelservice een vaste hoeveelheid compute heeft. Zonder limieten kan één script in een strakke loop iedereen anders vertragen. Voor jou als developer betekent dit twee dingen: je code moet weigeringen verwachten en eruit kunnen herstellen, en je ontwerp moet werk verdelen in plaats van het allemaal in één keer afvuren.

De drie soorten limieten die je zult tegenkomen

Providers mengen en matchen deze, dus lees welke van toepassing zijn op jouw sleutel.

TypeWat het teltTypisch effect
Requests per minuutCalls gestart in een rolling minuteBursts worden geweigerd, zelfs als elke call klein is
ConcurrencyCalls in flight op hetzelfde momentParallelle workers die de cap overschrijden, worden geweigerd of in de wachtrij geplaatst
Token- of uitgavenquotaTokens of geld gebruikt per minuut, dag of maandGrote prompts raken de cap eerder dan kleine

Concurrency is belangrijker voor language models dan voor gewone API's, omdat één completion enkele seconden kan duren. Tien workers die elk wachten op een lang antwoord, houden tien slots de hele tijd vast.

De limieten van deze API

Deze API beperkt requests per minuut en concurrency, per sleutel:

SleuteltypeConcurrencyRequests per minuut
Volledige sleutel (met tegoed)8300
Trialsleutel260

Twee andere getallen zijn het weten waard. De maximale request body is 8 MB, en elk antwoord bevat headers die je kunt lezen: X-Request-Id om een call te identificeren als je hulp vraagt, X-Balance-USD voor je resterende tegoed, en X-RateLimit-Limit-Requests en X-RateLimit-Limit-Concurrency voor de limieten die voor jouw sleutel gelden. Je kunt ze zien met curl:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

De limieten zijn hetzelfde ongeacht welke client je gebruikt; de API is OpenAI-compatibel, dus elke OpenAI SDK werkt zodra je de base URL wijzigt naar https://api.abliteratedapi.com/v1.

Welke limiet ga je daadwerkelijk raken?

Deel de twee getallen. Een volledige sleutel kan 8 requests tegelijk uitvoeren en 300 per minuut, wat een gemiddelde van 5 per seconde is. Om 300 per minuut te bereiken met slechts 8 in flight, moet elke call gemiddeld in 1,6 seconde klaar zijn (8 x 60 / 300). Antwoorden van een language model duren meestal langer dan dat als ze meer dan een paar zinnen bevatten, dus op een volledige sleutel bindt de concurrency cap vaak eerst.

Neem een hypothetisch geval waarin de gemiddelde call 10 seconden duurt. Acht slots geven je dan 8 x 60 / 10 = 48 requests per minuut, ver onder de 300. Dezelfde logica op een trialsleutel: 2 slots en 60 per minuut betekent dat calls onder de 2 seconden moeten zijn voordat de per-minute cap van belang wordt. Deze duur is een illustratie, geen meting. Meet je eigen calls en vul de echte waarde in.

Het praktische advies: dimensioneer je worker pool naar de concurrency limit, niet naar de request limit, en laat de per-minute limit fungeren als een veiligheidsnet.

Hoe limieten afhandelen in code

Drie gewoontes dekken bijna elke case.

  1. Beperk parallelisme zelf. Een semaphore die is geschaald naar je concurrency limit betekent dat je zelden wordt geweigerd.
  2. Probeer opnieuw met exponentiële backoff en jitter. Wacht 1 seconde, dan 2, dan 4, met een willekeurige fractie toegevoegd zodat veel workers niet synchroon opnieuw proberen. Stop na een paar pogingen.
  3. Probeer niet blindelings opnieuw. Een verkeerd gevormd verzoek of een ongeldige sleutel faalt altijd. Probeer alleen opnieuw bij een rate limit en tijdelijke serverfouten.

De officiële OpenAI Python SDK probeert al opnieuw bij 429 en serverfouten met backoff, en je beheert dit met max_retries. In combinatie met een semaphore ziet een batch job er als volgt uit:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

Veertig prompts gaan door, nooit meer dan acht tegelijk. Als je je eigen client bouwt, neem dan dezelfde twee ideeën mee: een limiet voor lopende calls, en een wachttijd voor herhaling die toeneemt.

Rate limits zijn niet het contextvenster

Mensen mengen de twee vaak door elkaar, omdat beide fouten opleveren als je te veel vraagt. Een rate limit bepaalt hoeveel requests je maakt. Het contextvenster bepaalt hoe groot één request mag zijn.

Op deze API is het contextvenster 100.000 tokens, tellend de prompt en de completion samen. Als je prompt 95.000 tokens is, zijn er maximaal 5.000 over voor het antwoord. De max_tokens parameter is optioneel: laat hem weg en de completion kan alles gebruiken wat het venster nog over heeft. Het instellen is wel een goede gewoonte als je weet dat het antwoord kort moet zijn, omdat output tokens $0,50 per 1M kosten tegen $0,15 per 1M voor input. Een volledige prompt van 95.000 tokens kost 95.000 x 0,15 / 1.000.000 = $0,01425 aan input.

Een rate limit verkleint het contextvenster niet, en een groot contextvenster gebruikt geen extra rate limit. Elke call is één verzoek, ongeacht de grootte, zolang de request body onder de 8 MB blijft.

Streaming en rate limits

Met stream: true komt het antwoord terug via server-sent events, token voor token, en de usage counts komen aan het einde. Een gestreamede call bezet nog steeds één concurrency slot tot de stream klaar is, dus een trage reader die verbindingen open houdt, houdt slots langer vast dan je verwacht. Sluit streams die je niet meer nodig hebt.

Veelgemaakte fouten

  • Geen limiet voor workers. Een thread pool met 50 workers tegen een limiet van 8 betekent dat de meeste calls worden geweigerd. Pas de pool aan bij de concurrency-limiet.
  • Directe retries. Opnieuw proberen na een weigering voegt last toe op het slechtste moment. Wacht, en wacht steeds langer elke keer.
  • Elke fout behandelen als een rate limit. Een timeout, een slechte sleutel en een te grote request body hebben elk een andere oplossing. Log de statuscode en de X-Request-Id header.
  • Eén sleutel delen voor alles. Een nachtelijke batchjob en een live chatfunctie op dezelfde sleutel concurreren om dezelfde 8 slots. Gebruik aparte sleutels, of plan de batch voor rustige uren.
  • Langzame streams negeren. Een client die stopt met lezen maar de verbinding open houdt, bezet nog steeds een slot.

Voeg een teller toe voor geweigerde calls aan je logs. Als deze op nul blijft, is je limiet correct ingesteld. Als deze stijgt, verlaag dan de poolgrootte voordat je retries toevoegt.

Plannen rond limieten

Rate limits en budget zijn met elkaar verbonden. Acht slots op volle toeren kunnen snel tegoed verbruiken, dus beslis hoeveel je wilt verbruiken voordat je een job start. Prijzen zijn pay-as-you-go, met tegoed dat niet vervalt en geen kosten voor mislukte of geweigerde verzoeken. Lees de prijzenpagina voor tarieven en top-up bonussen, en de quickstart voor request parameters. Om je retry-logica veilig te testen, haal een API-sleutel op en gebruik het proeftegoed, dat geen kaart vereist. Vergeet niet dat het werkt met de lagere trial-limieten.

Vragen en antwoorden

Wat gebeurt er als ik een rate limit overschrijd?

De server weigert de extra verzoeken, meestal met HTTP 429, en je code moet wachten en opnieuw proberen. Ga langzamer of verlaag je parallelisme tot de fouten stoppen.

Wat zijn de limieten van deze API?

Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe. Een trial-sleutel staat 2 gelijktijdige verzoeken en 60 per minuut toe.

Is een rate limit hetzelfde als het contextvenster?

Nee. Een rate limit regelt hoeveel verzoeken je over tijd kunt versturen. Het contextvenster, hier 100.000 tokens, bepaalt hoe groot één verzoek en zijn antwoord mogen zijn.

Hoe zie ik mijn limieten vanuit een response?

Lees de response headers X-RateLimit-Limit-Requests en X-RateLimit-Limit-Concurrency. De header X-Balance-USD toont je resterende tegoed, en X-Request-Id identificeert een specifieke call.

Kost het geld voor geweigerde verzoeken?

Nee. Mislukte of geweigerde verzoeken worden niet in rekening gebracht op deze API.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen