Что такое лимит запросов API? Лимиты, повторные попытки, контекст
Лимит запросов ограничивает объём трафика, который один ключ может отправить в API за определённое время. На этой странице объясняется, что такое лимит запросов на практике, как учесть его в коде и каковы лимиты в этом API.
Обновлено

Ключевые моменты
- Лимит запросов ограничивает количество запросов в минуту или активных запросов, чтобы один клиент не перегрузил сервис.
- Лимиты запросов не равны контекстному окну: один ограничивает трафик, другой — размер одного запроса.
- Полный ключ: 8 параллельных запросов и 300 в минуту. Пробный ключ: 2 параллельных и 60 в минуту.
- Обрабатывайте лимиты с помощью ограничения параллелизма, повторных попыток с экспоненциальной задержкой и анализа заголовков ответа.
Что такое лимит запросов
Итак, что такое лимит запросов? Это правило, которое определяет, сколько вызовов может сделать один аккаунт или ключ за определённое время, или сколько может выполняться одновременно. Если вы превысите его, сервер откажет в дополнительных вызовах вместо их обработки. Большинство HTTP API сигнализируют об этом с помощью кода состояния 429 (Слишком много запросов), и многие добавляют заголовок, указывающий, когда повторить попытку. Проверьте документацию каждого сервиса для его точного поведения.
Лимиты существуют, потому что сервер модели имеет фиксированный объём вычислительных мощностей. Без них один скрипт в плотном цикле мог бы замедлить всех остальных. Для вас как для разработчика это означает две вещи: ваш код должен ожидать отказы и восстанавливаться после них, а ваше решение должно распределять нагрузку, а не отправлять всё сразу.
Три вида лимитов, с которыми вы столкнётесь
Провайдеры комбинируют их, поэтому читайте, какие из них применяются к вашему ключу.
| Тип | Что считается | Типичный эффект |
|---|---|---|
| Запросов в минуту | Вызовы, начатые в скользящей минуте | Пики отклоняются, даже если каждый вызов мал |
| Параллелизм | Вызовы в процессе одновременно | Параллельные воркеры, превышающие лимит, отклоняются или ставятся в очередь |
| Квота токенов или расходов | Токены или деньги, использованные в минуту, день или месяц | Большие промпты достигают лимита раньше, чем маленькие |
Параллелизм важнее для языковых моделей, чем для обычных API, потому что одно завершение может занимать много секунд. Десять воркеров, каждый из которых ожидает длинный ответ, удерживают десять слотов всё это время.
Лимиты этого API
Это API ограничивает запросы в минуту и параллелизм для каждого ключа:
| Тип ключа | Параллелизм | Запросов в минуту |
|---|---|---|
| Полный ключ (с балансом) | 8 | 300 |
| Пробный ключ | 2 | 60 |
Есть ещё два числа, о которых стоит знать. Максимальный размер тела запроса — 8 МБ, и каждый ответ содержит заголовки, которые вы можете прочитать: X-Request-Id для идентификации вызова при запросе помощи, X-Balance-USD для вашего оставшегося баланса, и X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency для лимитов, применимых к вашему ключу. Вы можете увидеть их с помощью curl:
curl -i https://api.abliteratedapi.com/v1/chat/completions -H "Authorization: Bearer $ABLITERATED_API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'
Лимиты одинаковы независимо от того, какой клиент вы используете; API совместим с OpenAI, поэтому любой SDK OpenAI работает после того, как вы измените базовый URL на https://api.abliteratedapi.com/v1.
Какой лимит вы действительно достигнете?
Разделите два числа. Полный ключ может выполнять 8 запросов одновременно и 300 в минуту, что в среднем составляет 5 в секунду. Чтобы достичь 300 запросов в минуту при всего 8 выполняющихся, каждый вызов должен завершаться в среднем за 1,6 секунды (8 x 60 / 300). Ответы от языковой модели обычно занимают больше времени, чем это, когда они длиннее нескольких предложений, поэтому на полном ключе лимит параллелизма часто срабатывает первым.
Рассмотрим гипотетический случай, когда средний вызов длится 10 секунд. Восемь слотов дают вам 8 x 60 / 10 = 48 запросов в минуту, что значительно ниже 300. Та же логика для пробного ключа: 2 слота и 60 в минуту означают, что вызовы должны занимать менее 2 секунд, прежде чем сработает лимит в минуту. Эти длительности — иллюстрация, а не измерение. Измерьте свои вызовы и подставьте реальные данные.
Практический совет: настройте размер пула воркеров в соответствии с лимитом параллелизма, а не с лимитом запросов, и позвольте лимиту в минуту действовать как страховка.
Как обрабатывать лимиты в коде
Три привычки покрывают почти все случаи.
- Ограничьте параллелизм самостоятельно. Семафор, настроенный на лимит параллелизма, означает, что вы редко получаете отказы.
- Повторяйте попытку с экспоненциальной задержкой и джиттером. Ждите 1 секунду, затем 2, затем 4, добавляя случайную долю, чтобы многие воркеры не повторяли попытку синхронно. Остановитесь после нескольких попыток.
- Не повторяйте попытку вслепую. Неверный запрос или плохой ключ будут завершаться ошибкой каждый раз. Повторяйте попытку только при лимите запросов и временных ошибках сервера.
Официальный Python SDK OpenAI уже повторяет попытку при 429 и ошибках сервера с задержкой, и вы управляете им с помощью max_retries. В сочетании с семафором пакетная задача выглядит так:
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key=os.environ["ABLITERATED_API_KEY"],
max_retries=5,
)
sem = asyncio.Semaphore(8) # use 2 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one short fact about the number {n}." for n in range(40)]
answers = await asyncio.gather(*(ask(p) for p in prompts))
print(len(answers), "answers")
asyncio.run(main())
Сорок промптов проходят, не более восьми одновременно. Если вы создаёте свой собственный клиент, включите те же две идеи: ограничение на вызовы в процессе и задержку повторной попытки, которая увеличивается.
Лимиты запросов — это не контекстное окно
Люди часто путают их, потому что оба производят ошибки, когда вы запрашиваете слишком много. Лимит запросов контролирует, сколько запросов вы делаете. Контекстное окно контролирует, насколько большим может быть один запрос.
В этом API контекстное окно составляет 100 000 токенов, включая промпт и завершение вместе. Если ваш промпт составляет 95 000 токенов, не более 5 000 остаётся для ответа. Параметр max_tokens необязателен: оставьте его, и завершение может использовать всё, что осталось в окне. Установка его — хорошая привычка, когда вы знаете, что ответ должен быть коротким, потому что выходные токены стоят $0,50 за 1M против $0,15 за 1M для входа. Полный промпт на 95 000 токенов стоит 95 000 x 0,15 / 1 000 000 = $0,01425 за вход.
Лимит запросов не уменьшает контекстное окно, и большой контекст не использует дополнительный лимит запросов. Каждый вызов — это один запрос, независимо от его размера, пока тело не превысит 8 МБ.
Потоковая передача и лимиты запросов
С stream: true ответ приходит через события, отправляемые сервером, токен за токеном, и данные об использовании поступают в конце. Потоковый вызов всё ещё занимает один слот параллелизма до завершения потока, поэтому медленный читатель, который держит соединения открытыми, удерживает слоты дольше, чем вы ожидаете. Закрывайте потоки, которые вам больше не нужны.
Распространенные ошибки
- Без лимита воркеров. Пул потоков с 50 воркерами против лимита 8 означает, что большинство вызовов будут отклонены. Настройте пул в соответствии с лимитом параллелизма.
- Мгновенные повторные попытки. Повторный запрос сразу после отказа добавляет нагрузку в самый неподходящий момент. Ждите и увеличивайте интервал между попытками.
- Рассмотрение каждой ошибки как лимита запросов. Тайм-аут, неверный ключ и тело запроса, превышающее лимит, требуют разных решений. Логируйте код состояния и заголовок
X-Request-Id. - Использование одного ключа для всех задач. Ночной пакетный процесс и функция живого чата, использующие один ключ, конкурируют за те же 8 слотов. Используйте отдельные ключи или планируйте пакетные задачи на тихие часы.
- Игнорирование медленных потоков. Клиент, который прекращает чтение, но оставляет соединение открытым, всё ещё занимает слот.
Добавьте счётчик отказанных запросов в свои логи. Если он остаётся равным нулю, ваш лимит установлен верно. Если он растёт, уменьшите размер пула перед тем, как добавлять повторные попытки.
Планирование с учётом лимитов
Лимиты запросов и бюджет связаны. Восемь слотов на полной мощности могут быстро израсходовать кредит, поэтому решите, сколько вы готовы потратить, прежде чем запускать задачу. Оплата по факту, кредит не сгорает, за неудачные или отклонённые запросы не взимается плата. Ознакомьтесь со страницей цен для получения информации о тарифах и бонусах за пополнение, а также с быстрым стартом для параметров запроса. Чтобы безопасно протестировать логику повторных попыток, получите API-ключ и используйте пробный баланс, для которого не нужна карта. Просто помните, что он работает с более низкими лимитами для пробного периода.
Дополнительные руководства
Вопросы и ответы
Что происходит, когда я превышаю лимит запросов?
Сервер отклоняет дополнительные запросы, обычно с HTTP 429, и ваш код должен ждать и повторять попытку. Уменьшите скорость или снизьте параллелизм, пока ошибки не прекратятся.
Какие лимиты у этого API?
Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 параллельных запроса и 60 в минуту.
Является ли лимит запросов тем же, что и контекстное окно?
Нет. Лимит запросов контролирует, сколько запросов вы можете отправлять с течением времени. Контекстное окно, 100 000 токенов здесь, контролирует, насколько большим может быть один запрос и его ответ.
Как увидеть свои лимиты из ответа?
Прочитайте заголовки ответа X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency. Заголовок X-Balance-USD показывает ваш оставшийся кредит, а X-Request-Id идентифицирует конкретный вызов.
Стоят ли деньги отклонённые запросы?
Нет. За неудачные или отклонённые запросы на этом API не взимается плата.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.
Получить API-ключ