Skip to main content

Documentation Index

Fetch the complete documentation index at: https://wb-21fd5541-docs-2661.mintlify.app/llms.txt

Use this file to discover all available pages before exploring further.

“Concurrency limit reached for requests”라는 메시지가 포함된 429 오류는 Serverless Inference API에 동시 요청을 너무 많이 보내고 있음을 의미합니다. 이 페이지에서는 이 오류가 발생하는 이유와 요청이 성공하도록 해결하는 방법을 설명합니다.

​
이런 일이 발생하는 이유

Serverless Inference는 공정한 사용과 서비스 안정성을 유지하기 위해 동시성 한도를 적용합니다. 계정에서 동시에 보내는 Request 수가 허용된 한도를 초과하면, 추가 Request는 429 status 코드와 함께 거부됩니다.

​
할 수 있는 작업

오류를 해결하려면 워크로드와 플랜에 따라 다음 접근 방식 중 하나 또는 둘 다 선택하세요.
  • 현재 한도 내에서 유지하려면 동시 요청 수를 줄이세요:
    • 애플리케이션에서 요청 큐잉이나 스로틀링을 구현합니다.
    • 실패한 요청을 재시도할 때 지수 백오프를 사용합니다.
  • 워크로드에 더 많은 용량이 필요한 경우 한도를 늘리세요. 현재 플랜의 동시성 한도를 검토하고, 필요하면 업그레이드합니다.
자세한 내용은 사용 정보 및 한도를 참조하세요.
할당량 및 요청 속도 제한