PL ▾

Czym jest limit zapytań API? Limity, ponawianie, kontekst

Limit zapytań ogranicza, ile ruchu jeden klucz może wysłać do API w określonym czasie. Ta strona wyjaśnia, czym jest limit zapytań API w praktyce, jak go ominiąć w kodzie i jakie są limity tego API.

Zaktualizowano

Brama z ośmioma pasami przepuszczająca lekkie pakiety, ilustrująca limity API i równoległość

Kluczowe punkty

  • Limit zapytań ogranicza zapytania na minutę lub zapytania w toku, więc jeden klient nie przeciąży usługi.
  • Limity zapytań nie są tym samym co okno kontekstu: jedno ogranicza ruch, drugie rozmiar pojedynczego zapytania.
  • Pełny klucz: 8 równoległych zapytań i 300 na minutę. Klucz próbny: 2 równoległe i 60 na minutę.
  • Obsługuj limity poprzez ograniczenie równoległości, ponawianie z wykładniczym opóźnieniem i sprawdzenie nagłówków odpowiedzi.

Czym jest limit zapytań

Więc, czym jest limit zapytań API? To zasada mówiąca, ile wywołań jedno konto lub klucz może wykonać w oknie czasowym lub ile może działać jednocześnie. Jeśli ją przekroczysz, serwer odrzuca dodatkowe wywołania zamiast je obsłużyć. Większość interfejsów API HTTP sygnalizuje to kodem statusu 429 (Za dużo żądań), a wiele dodaje nagłówek informujący, kiedy ponowić próbę. Sprawdź dokumentację każdej usługi, aby poznać jej dokładne zachowanie.

Limity istnieją, ponieważ serwer modeli ma ograniczoną moc obliczeniową. Bez nich jeden skrypt w pętli mógłby spowolnić wszystkich innych. Dla Ciebie jako dewelopera oznacza to dwie rzeczy: Twój kod musi przewidywać odrzucenia i radzić sobie z nimi, a Twój projekt powinien rozłożyć pracę, zamiast wysyłać ją wszystkie naraz.

Trzy rodzaje limitów, z którymi się spotkasz

Dostawcy łączą te limity, więc przeczytaj, które dotyczą Twojego klucza.

TypCo jest liczoneTypowy efekt
Zapytania na minutęZapytania rozpoczęte w oknie ruchomej minutySkoki są odrzucane, nawet jeśli każde wywołanie jest małe
RównoległośćWywołania w toku w tym samym momencieRównoległe wątki przekraczające limit są odrzucane lub umieszczane w kolejce
Limit tokenów lub wydatkówTokeny lub pieniądze zużyte na minutę, dzień lub miesiącDuże prompty osiągają limit szybciej niż małe

Równoległość ma większe znaczenie dla modeli językowych niż dla zwykłych API, ponieważ jedno zapytanie może trwać wiele sekund. Dziesięć wątków oczekujących na długą odpowiedź blokuje dziesięć slotów przez cały czas.

Limity tego API

To API ogranicza zapytania na minutę i równoległość, na klucz:

Typ kluczaZapytania równoległeZapytania na minutę
Pełny klucz (z kredytem)8300
Klucz próbny260

Warto znać dwie inne liczby. Maksymalna treść żądania to 8 MB, a każda odpowiedź zawiera nagłówki, które możesz odczytać: X-Request-Id do zidentyfikowania wywołania przy prośbie o pomoc, X-Balance-USD dla Twojego pozostałego kredytu oraz X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency dla limitów dotyczących Twojego klucza. Możesz je zobaczyć za pomocą curl:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

Limity są takie same niezależnie od klienta, którego używasz; API jest kompatybilne z OpenAI, więc każde OpenAI SDK zadziała po zmianie Base URL na https://api.abliteratedapi.com/v1.

Który limit faktycznie osiągniesz?

Podziel dwie liczby. Pełny klucz może obsłużyć 8 zapytań jednocześnie i 300 na minutę, co daje średnio 5 na sekundę. Aby osiągnąć 300 na minutę przy tylko 8 jednoczesnych zapytaniach, każde zapytanie musiałoby zakończyć się w ciągu 1,6 sekundy średnio (8 x 60 / 300). Odpowiedzi modelu językowego zwykle trwają dłużej niż to, gdy mają więcej niż kilka zdań, więc przy pełnym kluczu limit równoległości często jest ograniczeniem.

Rozważ hipotetyczny przypadek, w którym średnie zapytanie trwa 10 sekund. Osiem slotów daje wtedy 8 x 60 / 10 = 48 zapytań na minutę, znacznie poniżej 300. Ta sama logika dla klucza próbnego: 2 sloty i 60 na minutę oznacza, że potrzebne są zapytania poniżej 2 sekund, zanim limit na minutę stanie się istotny. Te czasy są ilustracją, a nie pomiarem. Zmierz własne zapytania i podstaw prawdziwą wartość.

Praktyczna rada: dostosuj pulę workerów do limitu równoległości, a nie do limitu zapytań, i pozwól limitowi na minutę działać jak siatka bezpieczeństwa.

Jak obsługiwać limity w kodzie

Trzy nawyki pokrywają prawie każdy przypadek.

  1. Ogranicz równoległość samodzielnie. Semafor dostosowany do limitu równoległości oznacza, że rzadko otrzymasz odrzucenie.
  2. Ponawiaj z wykładniczym opóźnieniem i jitterem. Poczekaj 1 sekundę, potem 2, potem 4, dodając losowy ułamek, aby wielu workerów nie ponawiało prób w tym samym czasie. Zatrzymaj się po kilku próbach.
  3. Nie ponawiaj ślepo. Złe żądanie lub zły klucz zawsze zakończy się błędem. Ponawiaj tylko przy limicie zapytań i tymczasowych błędach serwera.

Oficjalne OpenAI Python SDK już ponawia przy 429 i błędach serwera z opóźnieniem, a Ty kontrolujesz to za pomocą max_retries. W połączeniu z semaforem zadanie wsadowe wygląda tak:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

Czterdzieści promptów przechodzi, nigdy więcej niż osiem jednocześnie. Jeśli zbudujesz własnego klienta, umieść w nim te same dwa pomysły: limit wywołań w toku i opóźnienie ponawiania, które rośnie.

Limity zapytań to nie okno kontekstu

Ludzie często mylą te dwa pojęcia, ponieważ oba powodują błędy, gdy poprosisz o za dużo. Limit zapytań kontroluje, ile zapytań wysyłasz. Okno kontekstu kontroluje, jak duże może być jedno zapytanie.

W tym API okno kontekstu wynosi 100 000 tokenów, licząc prompt i uzupełnienie razem. Jeśli Twój prompt ma 95 000 tokenów, na odpowiedź zostaje maksymalnie 5 000. Parametr max_tokens jest opcjonalny: zostaw go, a uzupełnienie może użyć tego, co zostało w oknie. Ustawienie go to dobra praktyka, gdy wiesz, że odpowiedź powinna być krótka, ponieważ tokeny wyjścia kosztują $0,50 za 1M w przeciwieństwie do $0,15 za 1M dla wejścia. Pełny prompt 95 000 tokenów kosztuje 95 000 x 0,15 / 1 000 000 = $0,01425 za wejście.

Limit zapytań nie zmniejsza okna kontekstu, a duże okno nie zużywa dodatkowego limitu zapytań. Każde wywołanie to jedno zapytanie, niezależnie od jego rozmiaru, o ile treść nie przekracza 8 MB.

Strumieniowanie i limity zapytań

Z stream: true odpowiedź wraca przez zdarzenia wysyłane przez serwer, token po tokenie, a użycie pojawia się na końcu. Wywołanie strumieniowe nadal zajmuje jeden slot równoległości do zakończenia strumienia, więc wolny odbiorca, który utrzymuje połączenia otwarte, zajmuje sloty dłużej niż się spodziewasz. Zamykaj strumienie, których już nie potrzebujesz.

Typowe błędy

  • Brak limitu workerów. Pula wątków z 50 workerami przy limicie 8 oznacza, że większość wywołań zostanie odrzucona. Dopasuj pulę do limitu równoległości.
  • Natychmiastowe ponawianie. Ponawianie zapytania od razu po odrzuceniu zwiększa obciążenie w najgorszym możliwym momencie. Poczekaj i wydłużaj odstęp między kolejnymi próbami.
  • Traktowanie każdego błędu jako limit zapytań. Timeout, nieprawidłowy klucz API i za duży payload wymagają różnych rozwiązań. Loguj kod statusu i nagłówek X-Request-Id.
  • Używanie jednego klucza API do wszystkiego. Nocne zadanie batchowe i funkcja czatu na żywo konkurują o te same 8 slotów na tym samym kluczu. Używaj oddzielnych kluczy lub zaplanuj zadanie batchowe na godziny ciszy.
  • Ignorowanie powolnego strumieniowania. Klient, który przestaje czytać dane, ale utrzymuje połączenie otwarte, nadal blokuje slot.

Dodaj licznik odrzuconych wywołań do swoich logów. Jeśli pozostaje on na zerze, Twój limit jest ustawiony poprawnie. Jeśli rośnie, zmniejsz rozmiar puli przed dodaniem ponawiania.

Planowanie z uwzględnieniem limitów

Limit zapytań i budżet są ze sobą powiązane. Osiem slotów przy pełnym obciążeniu może szybko zużyć kredyt, więc zdecyduj, ile jesteś gotów wydać, zanim uruchomisz zadanie. Cennik opiera się na modelu pay-as-you-go, z kredytem, który nie wygasa, i bez opłat za zapytania nieudane lub odrzucone. Sprawdź stronę z cenami, aby poznać stawki i bonusy za doładowanie, oraz przewodnik szybkiego startu, aby poznać parametry zapytania. Aby bezpiecznie przetestować logikę ponawiania, uzyskaj klucz API i użyj darmowego kredytu próbnego, który nie wymaga karty. Pamiętaj tylko, że działa on na niższych limitach próbnych.

Pytania i odpowiedzi

Co się stanie, gdy przekroczę limit zapytań?

Serwer odrzuca dodatkowe zapytania, zwykle z kodem HTTP 429, a Twój kod powinien poczekać i ponowić próbę. Zwolnij tempo lub zmniejsz liczbę równoległych zapytań, aż błędy znikną.

Jakie są limity tego API?

Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 równoległe zapytania i 60 na minutę.

Czy limit zapytań to to samo, co okno kontekstu?

Nie. Limit zapytań kontroluje, ile zapytań możesz wysyłać w czasie. Okno kontekstu, wynoszące tutaj 100 000 tokenów, kontroluje, jak duże mogą być jedno zapytanie i jego odpowiedź.

Jak sprawdzić moje limity z odpowiedzi?

Przeczytaj nagłówki odpowiedzi X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency. Nagłówek X-Balance-USD pokazuje Twój pozostały kredyt, a X-Request-Id identyfikuje konkretne zapytanie.

Czy odrzucone zapytania kosztują pieniądze?

Nie. Zapytania nieudane lub odrzucone nie są rozliczane w tym API.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API