Serverless Inference에서 서버 오류(500, 503)는 어떻게 해결하나요?

서버 오류는 Serverless Inference 서비스에 일시적인 문제가 있음을 의미합니다. 이 페이지에서는 이러한 오류를 파악하고, 클라이언트 코드에서 이를 적절히 처리하는 방법과 언제 지원팀에 문의해야 하는지 안내합니다.

오류 유형

다음 섹션에서는 요청 자체의 문제가 아니라 일시적인 서버 측 문제를 나타내는 오류 코드를 설명합니다.

500 내부 서버 오류

이 오류는 서버 측에서 일시적으로 발생하는 내부 오류입니다. 응답 메시지는 “서버가 요청을 처리하는 중 오류가 발생했습니다.”입니다.

503 서비스 과부하

서비스에 트래픽이 많이 몰리고 있습니다. 응답 메시지는 다음과 같습니다: “엔진이 현재 과부하 상태이므로, 나중에 다시 사용해 보세요.”

서버 오류 처리

이러한 오류는 일반적으로 일시적이므로, 다음 기법을 사용하면 재시도하기 전에 서비스가 복구할 시간을 확보할 수 있습니다.

1. 재시도하기 전에 기다리세요. 다음 대기 시간을 사용하세요:

   • 500 오류: 30~60초 기다리세요.
   • 503 오류: 60~120초 기다리세요.

2. 지수 백오프를 사용하세요.

   import time
   import openai
   
   def call_with_retry(client, messages, model, max_retries=5):
       for attempt in range(max_retries):
           try:
               return client.chat.completions.create(
                   model=model,
                   messages=messages
               )
           except Exception as e:
               if "500" in str(e) or "503" in str(e):
                   if attempt < max_retries - 1:
                       wait_time = min(60, (2 ** attempt))
                       time.sleep(wait_time)
                   else:
                       raise
               else:
                   raise
   

3. 적절한 타임아웃을 설정하세요. 다음과 같이 조정하세요:

   • HTTP 클라이언트의 타임아웃 값을 늘리세요.
   • 더 나은 처리를 위해 비동기 오퍼레이션을 고려하세요.

지원팀에 문의하기

재시도와 백오프로도 문제가 해결되지 않으면, 팀에서 추가로 조사할 수 있도록 지원팀에 문의하세요.

다음과 같은 경우 지원팀에 문의하세요:

• 오류가 10분 이상 지속되는 경우
• 특정 시간대에 실패가 반복되는 경우
• 오류 메시지에 추가 세부 정보가 포함된 경우

지원팀에 문의할 때는 다음 정보를 제공하세요:

• 오류 메시지 및 코드
• 오류가 발생한 시간
• 코드 스니펫(API 키 제거)
• W&B entity 및 프로젝트 이름

---

Inference