TR ▾

API Hız Limiti Nedir? Limitler, Yeniden Denemeler, Bağlam

Bir hız limiti, bir anahtarın bir API'ye belirli bir sürede gönderebileceği trafik miktarını sınırlar. Bu sayfa, pratikte bir API hız limitinin ne olduğunu, bunun etrafında nasıl kod yazılacağını ve bu API'deki limitlerin neler olduğunu açıklar.

Güncellendi

API hız limitlerini ve eşzamanlılığı gösteren, hafif paketleri geçiren sekiz şeritli kapı

Temel noktalar

  • Hız limiti, dakikadaki istek sayısını veya devam eden istekleri kısıtlar, böylece tek bir istemci servisi aşırı yükleyemez.
  • Hız limitleri bağlam penceresi ile aynı değildir: biri trafiği kısıtlar, diğeri tek bir istek boyutunu kısıtlar.
  • Tam anahtar: 8 eşzamanlı istek ve dakika başına 300. Deneme anahtarı: 2 eşzamanlı ve dakika başına 60.
  • Limitleri bir eşzamanlılık sınırı, geri çekilme ile yeniden denemeler ve yanıt başlıklarına bakma ile yönetin.

Hız limitinin ne olduğu

Peki API hız limiti nedir? Bir hesap veya anahtarın bir zaman penceresinde kaç çağrı yapabileceğini veya aynı anda kaçının çalışabileceğini belirleyen bir kuraldır. Onu aştığınızda, sunucu fazladan çağrıları reddeder, bunları işlemez. Çoğu HTTP API'si bunu 429 (Too Many Requests) durum koduyla bildirir ve çoğu, ne zaman yeniden denemeniz gerektiğini söyleyen bir başlık ekler. Her hizmetin tam davranışı için dokümantasyonuna bakın.

Limitler, bir model sunucusunun sabit bir işlem gücüne sahip olmasından kaynaklanır. Bunlar olmadan, sıkı bir döngüdeki tek bir betik herkesin işini yavaşlatabilir. Geliştirici olarak sizin için iki şey ifade eder: kodunuz reddetmeleri beklemeli ve onlardan toparlanmalıdır; tasarımınız işi dağıtmalı, hepsini aynı anda fırlatmamalıdır.

Karşınıza çıkacak üç limit türü

Sağlayıcılar bunları karıştırıp eşleştirir, bu yüzden hangi limitlerin anahtarınız için geçerli olduğunu okuyun.

TürNe sayılırTipik etki
Dakikadaki istek sayısıYürüyen dakikada başlatılan çağrılarHer çağrı küçük olsa bile ani yoğunluk artışları (burst) reddedilir
EşzamanlılıkAynı anda devam eden isteklerLimitin ötesindeki paralel worker'lar reddedilir veya kuyruğa alınır
Token veya harcama kotasıDakika, gün veya ay başına kullanılan token veya paraBüyük istemler, küçük olanlardan daha erken kotalara çarpar

Dil modelleri için eşzamanlılık, sıradan API'lere göre daha önemlidir, çünkü tek bir tamamlama işlemi birçok saniye sürebilir. On worker, uzun bir yanıtı beklerken tüm süre boyunca on yuva tutar.

Bu API'deki limitler

Bu API, anahtar başına dakikadaki istek sayısını ve eşzamanlılığı sınırlar:

Anahtar türüEşzamanlı isteklerDakikadaki istek sayısı
Tam anahtar (kredi ile)8300
Deneme anahtarı260

Bilmeniz gereken iki başka sayı daha var. Maksimum istek gövdesi 8 MB'tır ve her yanıt, okuyabileceğiniz başlıklar taşır: Yardım istediğinizde bir çağrıyı tanımlamak için X-Request-Id, kalan krediniz için X-Balance-USD ve anahtarınıza uygulanan limitler için X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency. Bunları curl ile görebilirsiniz:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

Kullandığınız istemci ne olursa olsun limitler aynıdır; API OpenAI-uyumludur, bu nedenle Base URL'yi https://api.abliteratedapi.com/v1 olarak değiştirdiğinizde herhangi bir OpenAI SDK çalışır.

Aslında hangi limite takılırsınız?

İki sayıyı bölün. Tam bir anahtar aynı anda 8 isteği ve dakika başına 300 isteği çalıştırabilir, bu da ortalama saniyede 5 demektir. Sadece 8 devam eden istekle dakika başına 300'e ulaşmak için, her çağrının ortalama olarak 1,6 saniye içinde tamamlanması gerekir (8 x 60 / 300). Dil modelinden gelen yanıtlar, birkaç cümleden daha uzun olduklarında genellikle bundan daha uzun sürer, bu yüzden tam bir anahtarla eşzamanlılık sınırı genellikle önce devreye girer.

Ortalama çağrının 10 saniye sürdüğü varsayımsal bir durumu ele alalım. Sekiz yuva size dakika başına 8 x 60 / 10 = 48 istek verir, bu 300'ün oldukça altındadır. Deneme anahtarında aynı mantık: 2 yuva ve dakika başına 60 istek, dakika başı limiti önemli hale gelmeden önce çağrıların 2 saniyenin altında olması gerektiği anlamına gelir. Bu süreler bir gösterimdir, ölçüm değil. Kendi çağrılarınızı zamanlayın ve gerçek rakamı yerleştirin.

Pratik tavsiye: Worker havuzunuzu istek sınırına değil, eşzamanlılık sınırına göre boyutlandırın ve dakikalık limiti bir güvenlik ağı olarak kullanın.

Kodda limitleri nasıl yönetirsiniz

Üç alışkanlık neredeyse her durumu kapsar.

  1. Eşzamanlılığı kendiniz sınırlayın. Eşzamanlılık limitinize göre boyutlandırılmış bir semafor kullanırsanız neredeyse hiç reddedilmezsiniz.
  2. Üstel geri çekilme ve jitter ile yeniden deneyin. 1 saniye bekleyin, sonra 2, sonra 4, birçok worker'ın kilitleşmiş olarak yeniden denemesini engellemek için rastgele bir kesir ekleyin. Birkaç denemeden sonra durun.
  3. Kör körüne yeniden denemeyin. Bozuk bir istek veya kötü bir anahtar her zaman başarısız olur. Yalnızca hız limiti ve geçici sunucu hatalarında yeniden deneyin.

Resmi OpenAI Python SDK'sı zaten 429 ve sunucu hatalarında geri çekilme ile yeniden dener ve max_retries ile onu kontrol edersiniz. Bir semafor ile bir toplu iş şu şekilde görünür:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

Kırk istem geçer, aynı anda sekizden fazla değil. Kendi istemcinizi oluşturursanız, aynı iki fikri içine koyun: devam eden çağrılar için bir sınır ve büyüyen bir yeniden deneme gecikmesi.

Hız limitleri bağlam penceresi değildir

İnsanlar genellikle ikisini karıştırır, çünkü her ikisi de çok fazla istek yaptığınızda hatalar üretir. Bir hız limiti, ne kadar istek yaptığınızı kontrol eder. Bağlam penceresi, tek bir isteğin ne kadar büyük olabileceğini kontrol eder.

Bu API'de bağlam penceresi 100.000 token'dır; istem ve tamamlama birlikte sayılır. İsteminiz 95.000 token ise, yanıt için en fazla 5.000 token kalır. max_tokens parametresi isteğe bağlıdır; belirtmezseniz tamamlama pencerede kalanı kullanabilir. Cevabın kısa olacağını biliyorsanız ayarlamak iyi bir alışkanlıktır, çünkü çıktı tokenları 1M token başına $0,50, girdi ise 1M token başına $0,15'tir. 95.000 token'lık tam bir istemin girdi maliyeti 95.000 x 0,15 / 1.000.000 = $0,01425'tir.

Bir hız limiti bağlam penceresini küçültmez ve büyük bir bağlam ekstra hız limiti kullanmaz. Gövde 8 MB'ın altında kaldığı sürece her çağrı, boyutu ne olursa olsun bir istektir.

Akış ve hız limitleri

stream: true ile yanıt, sunucu tarafından gönderilen olaylar üzerinden, token token geri gelir ve kullanım istatistikleri sonunda gelir. Akışlı bir çağrı, akış bitene kadar bir eşzamanlılık yuvası işgal eder, bu nedenle bağlantıları açık tutan yavaş bir okuyucu, beklediğinizden daha uzun süre yuvalar tutar. Artık ihtiyaç duymadığınız akışları kapatın.

Yaygın hatalar

  • Worker sınırı yok. 8 sınırına karşı 50 worker ile bir iş parçacığı havuzu, çoğu çağrının reddedileceği anlamına gelir. Havuzu eşzamanlılık sınırına eşleştirin.
  • Anında yeniden deneme. Bir reddetme sonrası hemen yeniden denemek, en kötü anda yük ekler. Bekleyin ve her seferinde daha uzun süre bekleyin.
  • Her hatayı bir hız limiti olarak ele alma. Bir zaman aşımı, hatalı anahtar ve aşırı büyük bir gövde her biri farklı bir düzeltme gerektirir. Durum kodunu ve X-Request-Id başlığını günlüğe kaydedin.
  • Tek bir anahtarı her şey için paylaşma. Gece çalıştırılan bir toplu iş ve canlı bir sohbet özelliği, aynı anahtarda aynı 8 slot için rekabet eder. Ayrı anahtarlar kullanın veya toplu işi sessiz saatler için planlayın.
  • Yavaş akışları görmezden gelme. Okumayı bırakan ancak bağlantıyı açık tutan bir istemci, bir slotu hâlâ işgal eder.

Günlüklerinize reddedilen çağrılar için bir sayaç ekleyin. Sıfırda kalıyorsa, limitiniz doğru ayarlanmıştır. Artıyorsa, yeniden denemeler eklemekten önce havuz boyutunu düşürün.

Limitler etrafında planlama

Hız limitleri ve bütçe bağlantılıdır. Tam güçte sekiz slot, krediyi hızla harcayabilir, bu nedenle bir işe başlamadan önce ne kadar harcamayı göze aldığınıza karar verin. Fiyatlandırma kullandıkça öde şeklindedir, kredi süresi dolmaz ve başarısız veya reddedilen istekler için ücret alınmaz. Oranlar ve bakiye yükleme bonusları için fiyatlandırma sayfasını okuyun ve istek parametreleri için hızlı başlangıç sayfasını inceleyin. Yeniden deneme mantığınızı güvenli bir şekilde test etmek için bir API anahtarı edinin ve kart gerektirmeyen deneme kredisini kullanın. Sadece bunun daha düşük deneme limitlerinde çalıştığını unutmayın.

Sorular ve cevaplar

Bir hız limitini aştığımda ne olur?

Sunucu ek istekleri reddeder, genellikle HTTP 429 ile ve kodunuz beklemeli ve yeniden denemelidir. Hatalar durana kadar hızı azaltın veya eşzamanlılığı düşürün.

Bu API için limitler nelerdir?

Tam bir anahtar eşzamanlı 8 istek ve dakika başına 300 istek izin verir. Bir deneme anahtarı eşzamanlı 2 istek ve dakika başına 60 istek izin verir.

Bir hız limiti bağlam penceresi ile aynı şey midir?

Hayır. Bir hız limiti, zaman içinde ne kadar istek gönderebileceğinizi kontrol eder. Bağlam penceresi, burada 100.000 token, bir istek ve yanıtının ne kadar büyük olabileceğini kontrol eder.

Limitlerimi bir yanıttan nasıl görürüm?

X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency yanıt başlıklarını okuyun. X-Balance-USD başlığı kalan kredinizi gösterir ve X-Request-Id belirli bir çağrıyı tanımlar.

Reddedilen istekler para mı tutar?

Hayır. Başarısız veya reddedilen istekler bu API'de ücretlendirilmez.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al