VI ▾

Giới hạn tốc độ API là gì? Giới hạn, thử lại, ngữ cảnh

Giới hạn tốc độ giới hạn lượng lưu lượng mà một khóa có thể gửi đến API trong một khoảng thời gian nhất định. Trang này giải thích giới hạn tốc độ API thực tế là gì, cách lập trình để xử lý nó và các giới hạn trên API này là gì.

Cập nhật

Cổng có tám làn xe cho các gói tin nhẹ đi qua, minh họa cho giới hạn tốc độ API và độ đồng thời

Điểm chính

  • Giới hạn tốc độ hạn chế số yêu cầu mỗi phút hoặc số yêu cầu đang thực thi, để một máy khách không thể làm quá tải dịch vụ.
  • Giới hạn tốc độ không giống như cửa sổ ngữ cảnh: một cái giới hạn lưu lượng, cái kia giới hạn kích thước của một yêu cầu đơn lẻ.
  • Khóa đầy đủ: 8 yêu cầu đồng thời và 300 mỗi phút. Khóa dùng thử: 2 đồng thời và 60 mỗi phút.
  • Xử lý các giới hạn bằng cách giới hạn độ đồng thời, thử lại với độ trễ tăng dần và xem các tiêu đề phản hồi.

Giới hạn tốc độ là gì

Vậy, giới hạn tốc độ API là gì? Đó là quy tắc quy định số lệnh gọi một tài khoản hoặc khóa có thể thực hiện trong một khoảng thời gian, hoặc số lượng có thể chạy đồng thời. Nếu bạn vượt quá giới hạn này, máy chủ sẽ từ chối các lệnh gọi dư thừa thay vì xử lý chúng. Hầu hết các API HTTP báo hiệu điều này bằng mã trạng thái 429 (Quá nhiều yêu cầu), và nhiều API thêm một tiêu đề cho biết khi nào nên thử lại. Hãy kiểm tra tài liệu của từng dịch vụ để biết hành vi chính xác của chúng.

Các giới hạn tồn tại vì máy chủ mô hình có một lượng tài nguyên tính toán cố định. Không có chúng, một tập lệnh chạy trong vòng lặp chặt chẽ có thể làm chậm tất cả những người dùng khác. Đối với bạn với tư cách là nhà phát triển, điều này có nghĩa là hai điều: mã của bạn phải dự đoán các lệnh từ chối và khôi phục từ chúng, và thiết kế của bạn nên phân phối công việc thay vì thực hiện tất cả cùng một lúc.

Ba loại giới hạn bạn sẽ gặp

Các nhà cung cấp kết hợp các giới hạn này, vì vậy hãy đọc xem những giới hạn nào áp dụng cho khóa của bạn.

LoạiNhững gì được tínhHiệu ứng điển hình
Yêu cầu mỗi phútCác lệnh gọi bắt đầu trong một phút trượtCác đợt bùng nổ bị từ chối ngay cả khi mỗi lệnh gọi đều nhỏ
Độ đồng thờiCác lệnh gọi đang thực thi cùng một lúcCác worker song song vượt quá giới hạn sẽ bị từ chối hoặc xếp hàng
Ngân sách token hoặc chi tiêuSố token hoặc tiền sử dụng mỗi phút, ngày hoặc thángCác prompt lớn sẽ chạm giới hạn nhanh hơn các prompt nhỏ

Độ đồng thời quan trọng hơn đối với các mô hình ngôn ngữ so với các API thông thường, vì một lệnh hoàn thành đơn lẻ có thể mất nhiều giây. Mười worker mỗi người đang chờ một phản hồi dài sẽ chiếm mười khe trong suốt thời gian đó.

Các giới hạn trên API này

API này giới hạn số yêu cầu mỗi phút và độ đồng thời, theo khóa:

Loại khóaĐộ đồng thờiYêu cầu mỗi phút
Khóa đầy đủ (có tín dụng)8300
Khóa dùng thử260

Hai con số khác cũng đáng biết. Kích thước tối đa của thân yêu cầu là 8 MB, và mọi phản hồi đều mang các tiêu đề mà bạn có thể đọc: X-Request-Id để xác định một lệnh gọi khi bạn yêu cầu trợ giúp, X-Balance-USD cho tín dụng còn lại của bạn, và X-RateLimit-Limit-Requests cùng X-RateLimit-Limit-Concurrency cho các giới hạn áp dụng cho khóa của bạn. Bạn có thể xem chúng bằng curl:

curl -i https://api.abliteratedapi.com/v1/chat/completions   -H "Authorization: Bearer $ABLITERATED_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","max_tokens":5,"messages":[{"role":"user","content":"Hi"}]}'

Các giới hạn giống nhau bất kể bạn sử dụng máy khách nào; API tương thích với OpenAI, vì vậy bất kỳ SDK OpenAI nào cũng hoạt động sau khi bạn thay đổi base URL thành https://api.abliteratedapi.com/v1.

Giới hạn nào bạn sẽ thực sự chạm đến?

Chia hai số này. Một khóa đầy đủ có thể chạy 8 yêu cầu cùng lúc và 300 yêu cầu mỗi phút, tương đương trung bình 5 yêu cầu mỗi giây. Để đạt 300 yêu cầu mỗi phút với chỉ 8 yêu cầu đồng thời, mỗi lệnh gọi phải hoàn thành trong 1,6 giây trung bình (8 x 60 / 300). Các phản hồi từ mô hình ngôn ngữ thường mất nhiều thời gian hơn mức đó khi chúng dài hơn một vài câu, vì vậy trên một khóa đầy đủ, giới hạn độ đồng thời thường bị chạm trước.

Hãy xem xét một trường hợp giả định nơi lệnh gọi trung bình kéo dài 10 giây. Tám khe cho phép bạn thực hiện 8 x 60 / 10 = 48 yêu cầu mỗi phút, thấp hơn nhiều so với 300. Cùng logic đó áp dụng cho khóa dùng thử: 2 khe và 60 yêu cầu mỗi phút có nghĩa là các lệnh gọi dưới 2 giây là cần thiết trước khi giới hạn mỗi phút phát huy tác dụng. Những thời lượng này chỉ là minh họa, không phải là số đo thực tế. Hãy đo thời gian lệnh gọi của chính bạn và điền số liệu thực tế vào.

Lời khuyên thực tế: hãy chọn kích thước nhóm worker của bạn dựa trên giới hạn độ đồng thời, không phải giới hạn yêu cầu, và để giới hạn mỗi phút hoạt động như một mạng an toàn.

Cách xử lý giới hạn trong mã nguồn

Ba thói quen này bao phủ hầu hết mọi trường hợp.

  1. Tự giới hạn độ đồng thời. Một semaphore có kích thước bằng giới hạn độ đồng thời của bạn có nghĩa là bạn hầu như không bao giờ bị từ chối.
  2. Thử lại với độ trễ tăng dần và jitter. Chờ 1 giây, sau đó 2 giây, rồi 4 giây, thêm một phần ngẫu nhiên để nhiều worker không thử lại cùng lúc. Dừng lại sau một vài lần thử.
  3. Đừng thử lại một cách mù quáng. Một yêu cầu bị lỗi cú pháp hoặc khóa API không hợp lệ sẽ luôn thất bại. Chỉ thử lại khi gặp giới hạn tốc độ hoặc lỗi máy chủ tạm thời.

SDK Python chính thức của OpenAI đã tự động thử lại khi gặp lỗi 429 và lỗi máy chủ với độ trễ tăng dần, và bạn có thể kiểm soát nó bằng tham số max_retries. Kết hợp với một semaphore, một công việc hàng loạt sẽ trông như thế này:

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key=os.environ["ABLITERATED_API_KEY"],
    max_retries=5,
)
sem = asyncio.Semaphore(8)   # use 2 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one short fact about the number {n}." for n in range(40)]
    answers = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(answers), "answers")

asyncio.run(main())

Bốn mươi prompt được xử lý, không bao giờ nhiều hơn tám cùng một lúc. Nếu bạn tự xây dựng máy khách, hãy đặt hai ý tưởng tương tự vào đó: một giới hạn về số lệnh gọi đang thực thi và một độ trễ thử lại tăng dần.

Giới hạn tốc độ không phải là cửa sổ ngữ cảnh

Mọi người thường nhầm lẫn hai khái niệm này, vì cả hai đều tạo ra lỗi khi bạn yêu cầu quá nhiều. Giới hạn tốc độ kiểm soát số lượng yêu cầu bạn thực hiện. Cửa sổ ngữ cảnh kiểm soát kích thước tối đa của một yêu cầu.

Trên API này, cửa sổ ngữ cảnh là 100.000 token, tính cả prompt và phần hoàn thành cùng nhau. Nếu prompt của bạn là 95.000 token, thì chỉ còn tối đa 5.000 token cho phần phản hồi. Tham số max_tokens là tùy chọn: hãy bỏ qua nó và phần hoàn thành có thể sử dụng bất kỳ token nào còn lại trong cửa sổ. Việc đặt tham số này vẫn là một thói quen tốt khi bạn biết câu trả lời nên ngắn, vì các token đầu ra tốn $0,50 cho mỗi 1 triệu token so với $0,15 cho mỗi 1 triệu token đầu vào. Một prompt đầy đủ 95.000 token sẽ tốn 95.000 x 0,15 / 1.000.000 = $0,01425 cho phần đầu vào.

Giới hạn tốc độ không làm thu hẹp cửa sổ ngữ cảnh, và một cửa sổ ngữ cảnh lớn không sử dụng thêm giới hạn tốc độ. Mỗi lệnh gọi là một yêu cầu, bất kể kích thước của nó, miễn là thân yêu cầu nằm dưới 8 MB.

Truyền phát và giới hạn tốc độ

Với stream: true, phản hồi được trả về qua các sự kiện do máy chủ gửi, từng token một, và thông tin sử dụng sẽ được gửi vào cuối cùng. Một lệnh gọi được truyền phát vẫn chiếm một khe độ đồng thời cho đến khi luồng kết thúc, vì vậy một trình đọc chậm giữ các kết nối mở sẽ chiếm các khe lâu hơn bạn mong đợi. Hãy đóng các luồng mà bạn không còn cần nữa.

Những sai lầm thường gặp

  • Không giới hạn worker. Một nhóm luồng với 50 worker đối với giới hạn 8 có nghĩa là hầu hết các lệnh gọi đều bị từ chối. Hãy khớp nhóm luồng với giới hạn độ đồng thời.
  • Thử lại ngay lập tức. Việc thử lại ngay sau khi bị từ chối sẽ tạo tải vào thời điểm không phù hợp. Hãy đợi, và tăng thời gian chờ sau mỗi lần thử.
  • Coi mọi lỗi đều là giới hạn tốc độ. Một lỗi thời gian chờ, khóa API không hợp lệ và thân yêu cầu quá lớn đều cần cách xử lý khác nhau. Hãy ghi lại mã trạng thái và tiêu đề X-Request-Id.
  • Chia sẻ một khóa API cho mọi thứ. Một công việc batch chạy ban đêm và một tính năng trò chuyện trực tiếp trên cùng một khóa sẽ cạnh tranh cho cùng 8 slot. Hãy sử dụng các khóa riêng biệt, hoặc lên lịch cho công việc chạy vào giờ thấp điểm.
  • Bỏ qua các luồng chậm. Một client ngừng đọc nhưng vẫn giữ kết nối mở vẫn chiếm một slot.

Hãy thêm bộ đếm cho các yêu cầu bị từ chối vào nhật ký của bạn. Nếu giá trị này luôn bằng 0, thì giới hạn của bạn đã được đặt đúng. Nếu nó tăng lên, hãy giảm kích thước pool trước khi thêm các lần thử lại.

Lên kế hoạch dựa trên các giới hạn

Giới hạn tốc độ và ngân sách có liên quan với nhau. Tám slot ở mức tối đa có thể tiêu tốn tín dụng nhanh chóng, vì vậy hãy quyết định mức bạn sẵn sàng chi tiêu trước khi bắt đầu một công việc. Giá cả theo hình thức trả theo mức sử dụng, với tín dụng không bao giờ hết hạn và không tính phí cho các yêu cầu thất bại hoặc bị từ chối. Đọc trang giá cả để biết mức giá và các ưu đãi khi nạp tiền, và hướng dẫn nhanh để biết các tham số yêu cầu. Để kiểm tra logic thử lại của bạn một cách an toàn, lấy khóa API và sử dụng tín dụng dùng thử, không cần thẻ. Chỉ nhớ rằng tín dụng này chạy trên các giới hạn dùng thử thấp hơn.

Hỏi đáp

Điều gì xảy ra khi tôi vượt quá giới hạn tốc độ?

Máy chủ sẽ từ chối các yêu cầu dư thừa, thường là với HTTP 429, và mã của bạn nên đợi và thử lại. Hãy giảm tốc độ hoặc giảm độ đồng thời cho đến khi các lỗi ngừng xuất hiện.

Các giới hạn trên API này là gì?

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút.

Giới hạn tốc độ có giống với cửa sổ ngữ cảnh không?

Không. Giới hạn tốc độ kiểm soát số lượng yêu cầu bạn có thể gửi theo thời gian. Cửa sổ ngữ cảnh, 100.000 token ở đây, kiểm soát kích thước tối đa của một yêu cầu và phản hồi của nó.

Làm thế nào để xem các giới hạn của tôi từ phản hồi?

Hãy đọc các tiêu đề phản hồi X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency. Tiêu đề X-Balance-USD hiển thị tín dụng còn lại của bạn, và X-Request-Id xác định một yêu cầu cụ thể.

Các yêu cầu bị từ chối có tốn tiền không?

Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí trên API này.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API