서버리스 LLM

GPU를 띄우지 않고 OpenAI 호환 API로 모델을 호출한다. 키는 수령 순간 한 번만 표시된다.

언제 쓰나

인스턴스를 직접 돌리지 않고 Bedrock 계열 모델을 API로 쓸 때. 조직 어드민이 팀 API 키를 발급하면, 팀이 이 화면에서 수령(claim) 해 사용한다.

화면

서버리스 화면

왼쪽은 사용 가능 모델과 이번 달 토큰 사용, 오른쪽은 팀 API 키와 빠른 시작 예시다.

영역	무엇을 보여주나
사용 가능 모델	모델별 제공사와 1K 토큰당 입력/출력 단가, 접근 가능 여부
팀 API 키	키별 상태(수령 대기·활성·차단)와 예산 게이지
이번 달 토큰 사용	입력·출력 토큰 합계와 차감액
빠른 시작	OpenAI 호환 curl 예시

키 수령

키는 어드민이 구성만(예산·모델·한도) 발급한다. 비밀 키는 팀이 수령하는 순간 생성된다.

1. 수령 대기 상태의 키에서 키 수령 · 1회 표시를 누른다.
2. 전체 키가 표시된다. 이 순간이 유일한 표시다. 전체 키는 지금만 표시됩니다 — 안전한 곳에 보관하세요. 관리자를 포함해 누구도 다시 볼 수 없다.
3. 키를 복사해 안전한 곳(비밀 관리자·환경 변수)에 보관한다. 이후에는 마스킹된 형태 (sk-••••xxxx)만 보인다.

호출하기

base_url만 Voltra 게이트웨이로 바꾸면 기존 OpenAI SDK를 그대로 쓴다.

curl $VOLTRA_GATEWAY/v1/chat/completions \
  -H "Authorization: Bearer $VOLTRA_KEY" \
  -d '{"model": "claude-sonnet-4-5", "messages": [{"role":"user","content":"안녕"}]}'

게이트웨이 주소는 배포마다 다르다. 실제 주소는 이 화면의 호출 예시에 채워져 나온다. 화면에 나온 것을 그대로 복사해 쓰면 된다.

응답의 usage.voltra_cost_c에 이번 호출의 크레딧 비용이 담긴다. /v1/models로 이 키가 쓸 수 있는 모델 목록을 조회할 수도 있다.

예산과 한도

• 키 예산은 발급 시 이미 선불 차감됐다(D-028). 호출할 때마다 원장에서 다시 빠지지 않고, 게이트웨이가 사용량만 기록한다. 키 예산 게이지는 이 누적 사용량을 보여준다.
• 사용분은 키와 무관하게 팀 크레딧에서 통합 집계된다. 사용량 리포트에서 모델별로 본다.
• TPM(분당 토큰)·RPM(분당 요청) 한도가 키마다 걸린다.
• 예산이 마지막 구간(약 5%)에 들면 요청당 max_tokens가 자동으로 낮춰진다. 남은 예산을 넘기지 않도록 막는 장치다.

이렇게 되면 정상

• 수령 직후 전체 키가 한 번 표시되고, 이후 목록에서는 마스킹만 보인다.
• 정상 호출은 OpenAI와 같은 형태의 응답을 돌려주고 usage에 토큰·비용이 담긴다.
• 호출할수록 키 예산 게이지가 차오른다.

막히는 경우

증상	원인	조치
401 invalid_api_key	키가 폐기됐거나 존재하지 않음	어드민에게 키 재발급을 요청한다
403 team_locked	팀이 잠김(크레딧 소진)	예산 증액으로 잠금이 풀려야 호출된다. GPU·서버리스가 함께 막힌다
429 budget_exceeded	키 예산 소진 또는 잔여로 이 요청 비용을 못 냄	어드민에게 예산 증액을 요청한다
429 rate_limit_exceeded	TPM 또는 RPM 초과	잠시 후 재시도하거나 호출 빈도·토큰을 줄인다
404 model_not_found	이 키로 접근 불가한 모델	모델 접근 요청으로 해당 모델을 요청한다
수령이 안 됨 (no_pending_key)	수령 대기 상태 키가 아님	이미 수령했거나 다른 상태다. 목록에서 키 상태를 확인한다

알아둘 것

• 키는 수령 순간 딱 한 번 표시된다. 잃어버리면 다시 볼 수 없고, 어드민에게 폐기 후 재발급을 받아야 한다(D-010). 유출 시에도 즉시 폐기를 요청한다.
• 폐기된 키의 잔여 예산(구매 − 사용)은 팀 크레딧으로 환원된다. 폐기·증액·감액은 어드민이 한다.
• 접근할 모델을 늘리려면 + 모델 접근 요청으로 요청한다. 아직 키가 없으면 키 발급 요청으로 발급을 먼저 요청한다. 두 요청 모두 조직 어드민이 승인한다.
• 팀 키 예산의 합계는 팀 예산을 넘을 수 없다(D-018).