Apa itu Batas Laju API? Batas, Coba Lagi, Konteks
Batas laju membatasi berapa banyak lalu lintas yang dapat dikirimkan satu kunci ke API dalam waktu tertentu. Halaman ini menjelaskan apa itu batas laju API dalam praktiknya, cara mengatasinya dalam kode, dan apa batas pada API ini.
Diperbarui

Poin utama
- Batas laju membatasi permintaan per menit atau permintaan yang sedang berjalan, sehingga satu klien tidak membebani layanan.
- Batas laju tidak sama dengan jendela konteks: satu membatasi lalu lintas, yang lain membatasi ukuran satu permintaan.
- Kunci penuh: 8 permintaan konkuren dan 300 per menit. Kunci uji coba: 2 konkuren dan 60 per menit.
- Tangani batas dengan batas konkurensi, percobaan ulang dengan backoff, dan lihat header respons.
Apa itu batas laju
Jadi, apa itu batas laju API? Ini adalah aturan yang menyatakan berapa banyak panggilan yang dapat dibuat satu akun atau kunci dalam jendela waktu, atau berapa banyak yang dapat berjalan bersamaan. Jika Anda melebihi batasnya, server menolak panggilan tambahan alih-alih melayaninya. Sebagian besar API HTTP menandakan hal ini dengan kode status 429 (Terlalu Banyak Permintaan), dan banyak yang menambahkan header yang memberi tahu Anda kapan harus mencoba lagi. Periksa dokumentasi setiap layanan untuk perilaku pastinya.
Batas ada karena server model memiliki jumlah komputasi tetap. Tanpanya, satu skrip dalam loop ketat dapat memperlambat pengguna lain. Bagi Anda sebagai pengembang, ini berarti dua hal: kode Anda harus siap menangani penolakan dan pulih darinya, dan desain Anda harus mendistribusikan beban kerja, bukan mengirimkannya sekaligus.
Tiga jenis batas yang akan Anda temui
Penyedia menggabungkan dan mencocokkan ini, jadi baca mana yang berlaku untuk kunci Anda.
| Tipe | Apa yang dihitung | Efek tipikal |
|---|---|---|
| Batas laju | Panggilan dimulai dalam menit bergulir | Lonjakan ditolak bahkan jika setiap panggilan kecil |
| Konkurensi | Panggilan yang sedang berjalan pada saat yang sama | Worker paralel di luar batas ditolak atau dimasukkan ke antrean |
| Kuota token atau pengeluaran | Token atau uang yang digunakan per menit, hari, atau bulan | Prompt besar mencapai batas lebih cepat daripada yang kecil |
Konkurensi lebih penting untuk model bahasa daripada API biasa, karena satu penyelesaian dapat memakan waktu beberapa detik. Sepuluh worker yang masing-masing menunggu balasan panjang menahan sepuluh slot sepanjang waktu.
Batas pada API ini
API ini membatasi permintaan per menit dan konkurensi, per kunci:
| Jenis kunci | Permintaan konkuren | Batas laju |
|---|---|---|
| Kunci penuh (dengan kredit) | 8 | 300 |
| Kunci uji coba | 2 | 60 |
Dua angka lain yang patut diketahui. Ukuran maksimum body permintaan adalah 8 MB, dan setiap respons membawa header yang dapat Anda baca: X-Request-Id untuk mengidentifikasi panggilan ketika Anda meminta bantuan, X-Balance-USD untuk sisa saldo Anda, dan X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency untuk batas yang berlaku untuk kunci Anda. Anda dapat melihatnya dengan curl:
curl -i https://api.abliteratedapi.com/v1/chat/completions -H "Authorization: Bearer $ABLITERATED_API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'
Batasnya sama terlepas dari klien yang Anda gunakan; API kompatibel dengan OpenAI, sehingga SDK OpenAI apa pun berfungsi setelah Anda mengubah URL dasar menjadi https://api.abliteratedapi.com/v1.
Batas mana yang akan Anda temui?
Bagilah dua angka tersebut. Kunci penuh dapat menjalankan 8 permintaan sekaligus dan 300 per menit, yang merupakan rata-rata 5 per detik. Untuk mencapai 300 per menit dengan hanya 8 yang sedang berjalan, setiap panggilan harus selesai dalam 1,6 detik rata-rata (8 x 60 / 300). Balasan dari model bahasa biasanya memakan waktu lebih lama dari itu ketika lebih dari beberapa kalimat, jadi pada kunci penuh, batas konkurensi cenderung mengikat terlebih dahulu.
Ambil kasus hipotetis di mana panggilan rata-rata berlangsung 10 detik. Delapan slot kemudian memberi Anda 8 x 60 / 10 = 48 permintaan per menit, jauh di bawah 300. Logika yang sama pada kunci uji coba: 2 slot dan 60 per menit berarti panggilan di bawah 2 detik diperlukan sebelum batas per menit menjadi penting. Durasi ini adalah ilustrasi, bukan pengukuran. Ukur panggilan Anda sendiri dan masukkan angka yang sebenarnya.
Saran praktis: sesuaikan ukuran worker pool Anda dengan batas konkurensi, bukan batas permintaan, dan biarkan batas per menit bertindak sebagai jaring pengaman.
Cara menangani batas dalam kode
Tiga kebiasaan mencakup hampir setiap kasus.
- Batasi konkurensi Anda sendiri. Semaphore yang berukuran sesuai dengan batas konkurensi Anda berarti Anda jarang ditolak sama sekali.
- Coba lagi dengan backoff eksponensial dan jitter. Tunggu 1 detik, lalu 2, lalu 4, tambahkan fraksi acak agar banyak worker tidak mencoba lagi secara serentak. Berhenti setelah beberapa percobaan.
- Jangan coba lagi secara buta. Permintaan yang tidak valid atau kunci yang salah akan gagal setiap kali. Coba lagi hanya pada batas laju dan kesalahan server sementara.
SDK Python resmi OpenAI sudah mencoba lagi pada 429 dan kesalahan server dengan backoff, dan Anda mengendalikannya dengan max_retries. Digabungkan dengan semaphore, pekerjaan batch terlihat seperti ini:
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key=os.environ["ABLITERATED_API_KEY"],
max_retries=5,
)
sem = asyncio.Semaphore(8) # use 2 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one short fact about the number {n}." for n in range(40)]
answers = await asyncio.gather(*(ask(p) for p in prompts))
print(len(answers), "answers")
asyncio.run(main())
Empat puluh prompt masuk, tidak lebih dari delapan pada satu waktu. Jika Anda membuat klien Anda sendiri, masukkan dua ide yang sama di dalamnya: batas pada panggilan yang sedang berjalan, dan penundaan percobaan ulang yang tumbuh.
Batas laju bukan jendela konteks
Orang sering mencampuradukkan keduanya, karena keduanya menghasilkan kesalahan ketika Anda meminta terlalu banyak. Batas laju mengontrol berapa banyak permintaan yang Anda buat. Jendela konteks mengontrol seberapa besar satu permintaan dapat menjadi.
Pada API ini, jendela konteks adalah 100.000 token, menghitung prompt dan penyelesaian bersama. Jika prompt Anda adalah 95.000 token, paling banyak 5.000 tersisa untuk balasan. Parameter max_tokens bersifat opsional: tinggalkan dan penyelesaian dapat menggunakan apa pun yang tersisa di jendela. Mengaturnya masih merupakan kebiasaan yang baik ketika Anda tahu jawabannya harus pendek, karena token output berharga $0,50 per 1M terhadap $0,15 per 1M untuk input. Prompt 95.000 token penuh berharga 95.000 x 0,15 / 1.000.000 = $0,01425 dalam input.
Batas laju tidak mengecilkan jendela konteks, dan konteks besar tidak menggunakan batas laju tambahan. Setiap panggilan adalah satu permintaan, apa pun ukurannya, selama body tetap di bawah 8 MB.
Streaming dan batas laju
Dengan stream: true balasan kembali melalui peristiwa yang dikirim server, token demi token, dan penggunaan dihitung di akhir. Panggilan yang dialirkan masih menempati satu slot konkurensi hingga stream selesai, sehingga pembaca lambat yang menjaga koneksi terbuka menahan slot lebih lama dari yang Anda harapkan. Tutup stream yang tidak Anda butuhkan lagi.
Kesalahan umum
- Tidak ada batas worker. Thread pool dengan 50 worker terhadap batas 8 berarti sebagian besar panggilan ditolak. Cocokkan pool dengan batas konkurensi.
- Percobaan ulang segera. Melakukan percobaan ulang segera setelah penolakan menambah beban pada saat yang paling tidak tepat. Tunggu, dan tunggu lebih lama setiap kali.
- Memperlakukan setiap kesalahan sebagai batas laju. Waktu tunggu, kunci yang salah, dan body permintaan yang terlalu besar masing-masing memerlukan perbaikan berbeda. Catat kode status dan header
X-Request-Id. - Membagikan satu kunci untuk semua. Pekerjaan batch malam hari dan fitur obrolan langsung pada kunci yang sama bersaing untuk 8 slot yang sama. Gunakan kunci terpisah, atau jadwalkan pekerjaan batch untuk jam sepi.
- Mengabaikan streaming lambat. Klien yang berhenti membaca tetapi tetap membuka koneksi tetap memegang slot.
Tambahkan penghitung untuk panggilan yang ditolak ke log Anda. Jika tetap nol, batas Anda diatur dengan benar. Jika meningkat, kurangi ukuran pool sebelum Anda menambahkan percobaan ulang.
Perencanaan berdasarkan batas
Batas laju dan anggaran terkait. Delapan slot pada kecepatan penuh dapat menghabiskan saldo dengan cepat, jadi putuskan berapa banyak yang bersedia Anda habiskan sebelum memulai pekerjaan. Harga bersifat bayar sesuai penggunaan, dengan saldo yang tidak pernah habis dan tanpa biaya untuk permintaan gagal atau ditolak. Baca halaman harga untuk tarif dan bonus isi saldo, dan panduan awal untuk parameter permintaan. Untuk menguji logika percobaan ulang Anda dengan aman, dapatkan kunci API dan gunakan kredit uji coba, yang tidak memerlukan kartu. Ingatlah bahwa kredit ini berjalan pada batas percobaan yang lebih rendah.
Panduan lainnya
Tanya jawab
Apa yang terjadi ketika saya melebihi batas laju?
Server menolak permintaan tambahan, biasanya dengan HTTP 429, dan kode Anda harus menunggu dan mencoba lagi. Perlambat atau kurangi paralelisme Anda hingga kesalahan berhenti.
Apa batas pada API ini?
Kunci penuh memungkinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci percobaan memungkinkan 2 permintaan paralel dan 60 per menit.
Apakah batas laju sama dengan jendela konteks?
Tidak. Batas laju mengontrol berapa banyak permintaan yang dapat Anda kirimkan seiring waktu. Jendela konteks, 100.000 token di sini, mengontrol seberapa besar satu permintaan dan balasannya dapat menjadi.
Bagaimana saya melihat batas saya dari respons?
Baca header respons X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency. Header X-Balance-USD menunjukkan sisa saldo Anda, dan X-Request-Id mengidentifikasi panggilan tertentu.
Apakah permintaan yang ditolak dikenakan biaya?
Tidak. Permintaan gagal atau ditolak tidak dikenakan biaya pada API ini.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.
Dapatkan kunci API