KO ▾

API 속도 제한이란? 한도, 재시도, 컨텍스트

속도 제한은 특정 시간 동안 하나의 API 키가 API로 보낼 수 있는 트래픽 양을 제한합니다. 이 페이지에서는 API 속도 제한이 실제로 어떻게 작동하는지, 이를 어떻게 처리할 수 있는지, 그리고 이 API의 제한이 무엇인지 설명합니다.

업데이트됨

여덟 차선의 게이트를 통과하는 가벼운 패킷, API 속도 제한과 동시성을 보여주는 그림

주요 포인트

  • 속도 제한은 분당 요청 수 또는 진행 중인 요청 수를 제한하여 단일 클라이언트가 서비스를 과부하로 만들지 못하게 합니다.
  • 속도 제한은 컨텍스트 창과 다릅니다: 하나는 트래픽을 제한하고 다른 하나는 단일 요청의 크기를 제한합니다.
  • 전체 키: 분당 300회, 동시 8개 요청. 체험 키: 분당 60회, 동시 2개 요청.
  • 동시성 제한, 지수 백오프 재시도, 응답 헤더 확인을 통해 한도를 처리하세요.

속도 제한이란 무엇인가요

API 속도 제한이란 무엇일까요? 이는 특정 시간 창 내에서 하나의 계정이나 키로 수행할 수 있는 호출 수나 동시에 실행할 수 있는 호출 수를 규정하는 규칙입니다. 이를 초과하면 서버가 추가 호출을 서비스하지 않고 거부합니다. 대부분의 HTTP API는 상태 코드 429(Too Many Requests)로 이를 알리며, 재시도 시기를 알려주는 헤더를 추가하기도 합니다. 각 서비스의 정확한 동작은 문서를 확인하세요.

모델 서버는 고정된 컴퓨트 자원을 가지므로 제한이 필요합니다. 제한이 없으면 하나의 스크립트가 빡빡한 루프에서 실행되어 다른 모든 사용자의 속도를 늦출 수 있습니다. 개발자로서 이는 두 가지 의미를 가집니다: 코드에서 거부를 예상하고 복구해야 하며, 작업을 한 번에 모두 실행하는 대신 작업을 분산해야 합니다.

접하게 될 세 가지 제한 유형

제공업체는 이러한 제한을 혼합하여 사용하므로, 귀하의 키에 어떤 것이 적용되는지 확인하세요.

유형계산 대상일반적인 효과
분당 요청 수롤링 분 동안 시작된 호출각 호출이 작더라도 버스트는 거부됩니다
동시성동시에 진행 중인 호출제한을 초과하는 병렬 작업자는 거부되거나 대기열에 추가됩니다
토큰 또는 지출 할당량분, 일 또는 월당 사용된 토큰 또는 금액큰 프롬프트는 작은 프롬프트보다 제한에 더 빨리 도달합니다

언어 모델의 경우 동시성이 일반 API보다 더 중요합니다. 단일 완료 응답은 몇 초가 걸릴 수 있기 때문입니다. 10명의 작업자가 긴 응답을 기다리면 전체 시간 동안 10개의 슬롯을 점유합니다.

이 API의 한도

이 API는 키별로 분당 요청 수와 동시성을 제한합니다:

키 유형동시성분당 요청 수
전체 키 (크레딧 포함)8300
체험 키260

알아두면 좋은 두 가지 숫자가 더 있습니다. 최대 요청 본문 크기는 8 MB이며, 모든 응답에는 읽을 수 있는 헤더가 포함됩니다: X-Request-Id는 도움말 요청 시 호출을 식별하고, X-Balance-USD은 남은 크레딧을, X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency은 귀하의 키에 적용되는 한도를 나타냅니다. curl로 확인할 수 있습니다:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

클라이언트에 관계없이 한도는 동일합니다. 이 API는 OpenAI와 호환되므로 Base URL을 https://api.abliteratedapi.com/v1로 변경하면 모든 OpenAI SDK를 사용할 수 있습니다.

실제로 어떤 한도에 부딪히나요?

두 수를 나눕니다. 전체 키는 동시에 8개의 요청을 실행하고 분당 300개를 처리할 수 있으며, 이는 초당 평균 5개에 해당합니다. 동시 8개 요청으로 분당 300개에 도달하려면 각 호출이 평균 1.6초 내에 완료되어야 합니다 (8 x 60 / 300). 언어 모델의 응답은 몇 문장 이상일 경우 일반적으로 그보다 더 오래 걸리므로, 전체 키에서는 동시성 제한이 먼저 적용되는 경향이 있습니다.

평균 호출 시간이 10초인 가상의 경우를 생각해 보세요. 8개의 슬롯은 분당 8 x 60 / 10 = 48개의 요청을 처리할 수 있으며, 이는 300보다 훨씬 적습니다. 체험 키에도 같은 논리가 적용됩니다: 2개의 슬롯과 분당 60개의 제한은 분당 제한이 중요해지기 전에 호출이 2초 이내에 완료되어야 함을 의미합니다. 이러한 지속 시간은 측정값이 아닌 예시입니다. 직접 호출 시간을 측정해 실제 수치를 대입하세요.

실용적인 조언: 작업자 풀의 크기를 요청 제한이 아닌 동시성 제한에 맞게 조정하고, 분당 제한을 안전망으로 활용하세요.

코드에서 한도 처리 방법

세 가지 습관은 거의 모든 경우를 다룹니다.

  1. 동시성을 직접 제한하세요. 동시성 제한에 맞춰 세마포어를 사용하면 거의 거부를 피할 수 있습니다.
  2. 지수 백오프와 지터로 재시도하세요. 1초, 2초, 4초 대기하되 무작위 분수를 추가하여 많은 작업자가 동시에 재시도하지 않도록 하세요. 몇 번 시도 후 중단하세요.
  3. 맹목적으로 재시도하지 마세요. 잘못된 요청이나 잘못된 키는 항상 실패합니다. 속도 제한 및 임시 서버 오류에만 재시도하세요.

공식 OpenAI Python SDK는 이미 백오프와 함께 429 및 서버 오류에 대해 재시도하며, max_retries로 제어할 수 있습니다. 세마포어와 결합하면 배치 작업은 다음과 같이 보입니다:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

40개의 프롬프트가 동시에 8개를 넘지 않고 처리됩니다. 자체 클라이언트를 구축한다면 동일한 두 가지 아이디어를 적용하세요: 진행 중인 호출에 대한 제한과 증가하는 재시도 지연 시간.

속도 제한은 컨텍스트 창이 아님

사람들은 둘 다 너무 많은 요청을 보낼 때 오류를 발생시키기 때문에 이 둘을 자주 혼동합니다. 속도 제한은 요청 수를 제어합니다. 컨텍스트 창은 단일 요청의 크기를 제어합니다.

이 API에서 컨텍스트 창은 프롬프트와 완료 응답을 합쳐 100,000 토큰입니다. 프롬프트가 95,000 토큰인 경우, 응답에 남을 수 있는 최대 토큰 수는 5,000개입니다. max_tokens 매개변수는 선택 사항입니다: 지정하지 않으면 완료 응답이 창에 남은 모든 토큰을 사용할 수 있습니다. 답변이 짧아야 한다는 것을 알 때 설정하는 것은 좋은 습관입니다. 출력 토큰은 100만 토큰당 $0.50, 입력은 100만 토큰당 $0.15이므로 비용이 더 들기 때문입니다. 95,000 토큰의 프롬프트 입력 비용은 95,000 x 0.15 / 1,000,000 = $0.01425입니다.

속도 제한은 컨텍스트 창을 줄이지 않으며, 큰 컨텍스트는 추가 속도 제한을 사용하지 않습니다. 본문이 8 MB 미만인 한, 크기와 상관없이 각 호출은 하나의 요청입니다.

스트리밍 및 속도 제한

stream: true를 사용하면 응답이 서버 전송 이벤트를 통해 토큰 단위로 반환되며, 사용량 데이터는 끝에 도착합니다. 스트리밍 호출은 스트림이 끝날 때까지 동시성 슬롯을 하나 점유하므로, 연결을 유지하는 느린 리더는 예상보다 오래 슬롯을 점유합니다. 더 이상 필요 없는 스트림은 닫으세요.

일반적인 실수

  • 작업자 제한 없음. 제한이 8개일 때 50개의 작업자를 가진 스레드 풀을 사용하면 대부분의 호출이 거부됩니다. 풀을 동시성 제한에 맞게 조정하세요.
  • 즉시 재시도. 거부 후 즉시 재시도하면 가장 나쁜 순간에 부하가 추가됩니다. 기다리세요, 그리고 매번 더 오래 기다리세요.
  • 모든 오류를 속도 제한으로 처리하기 타임아웃, 잘못된 키, 너무 큰 본문는 각각 다른 해결책이 필요합니다. 상태 코드와 X-Request-Id 헤더를 로깅하세요.
  • 모든 것에 하나의 키 공유하기 야간 배치 작업과 라이브 채팅 기능이 같은 키에서 동일한 8개의 슬롯을 경쟁합니다. 별도의 키를 사용하거나 배치 작업을 조용한 시간대로 예약하세요.
  • 느린 스트리밍 무시하기 읽기를 중단하지만 연결을 계속 유지하는 클라이언트는 여전히 슬롯을 점유합니다.

거부된 호출에 대한 카운터를 로그에 추가하세요. 0으로 유지되면 캡이 올바르게 설정된 것입니다. 증가하면 재시도 전에 풀 크기를 줄이세요.

제한 사항에 대한 계획

속도 제한과 예산은 연결되어 있습니다. 최대 용량으로 여덟 개의 슬롯을 사용하면 크레딧이 빠르게 소모될 수 있으므로 작업을 시작하기 전에 얼마나 사용할지 결정하세요. 요금은 사용한 만큼 차감되는 선불 크레딧 방식이며 크레딧은 만료되지 않고 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 요금 및 충전 보너스에 대해서는 요금 페이지를, 요청 매개변수에 대해서는 빠른 시작를 참조하세요. 재시도 로직을 안전하게 테스트하려면 API 키를 가져오세요. 카드 없이 사용 가능한 무료 체험 크레딧을 사용하세요. 다만 낮은 제한이 적용된다는 점을 기억하세요.

질문과 답변

분당 요청 수을 초과하면 어떻게 됩니까?

서버는 추가 요청을 거부하며, 일반적으로 HTTP 429를 반환합니다. 코드에서 기다리고 재시도해야 합니다. 오류가 멈출 때까지 속도를 늦추거나 동시 요청 수를 줄이세요.

이 API의 제한 사항은 무엇입니까?

전체 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 체험 키는 동시 요청 2개와 분당 60개의 요청을 허용합니다.

분당 요청 수이 컨텍스트 창과 동일한가요?

아닙니다. 속도 제한은 시간 경과에 따라 보낼 수 있는 요청 수를 제어합니다. 컨텍스트 창(여기서는 100,000 토큰)은 하나의 요청과 그 응답의 크기를 제어합니다.

응답에서 제한 사항을 어떻게 확인합니까?

X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency 응답 헤더를 읽으세요. X-Balance-USD 헤더는 남은 크레딧을 보여주며, X-Request-Id는 특정 호출을 식별합니다.

거부된 요청에 요금이 부과되나요?

아닙니다. 실패하거나 거부된 요청에는 이 API에서 요금이 부과되지 않습니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기