Overview/ 04
모델을 올리는 것으로 끝내지 않습니다. 배포와 평가, 모니터링, 비용 추적까지 운영 체계를 갖춰 드립니다.
이런 상황이라면
- 프롬프트나 모델을 바꿨을 때 좋아졌는지 나빠졌는지 감으로 판단하고 있다.
- 응답 지연이나 실패가 늘어도 알림이 없어 사용자가 먼저 알아챈다.
- 팀과 기능 단위로 토큰 비용을 나눠 보고 줄일 곳을 정하고 싶다.
- 담당
- Delta 주도
- 범위
- 배포 파이프라인 · 평가 · 모니터링 · 비용 추적
What we do/ 04
LLMOps에서
하는 일입니다.
- 01
배포 파이프라인
모델과 프롬프트를 버전으로 관리합니다. 무엇이 언제 왜 바뀌었는지 남고, 문제가 생기면 이전 버전으로 되돌립니다.
- 02
평가 체계
정답 세트와 평가 기준을 만듭니다. 프롬프트나 모델을 바꿨을 때 좋아졌는지 나빠졌는지 감이 아니라 수치로 비교합니다.
- 03
모니터링
응답 지연, 실패율, 이상 응답을 지켜봅니다. 정해 둔 기준을 넘으면 알림이 갑니다.
- 04
비용 추적
토큰 사용량을 팀과 기능 단위로 나눠 봅니다. 어느 기능이 비용을 쓰는지 드러나야 줄일 곳을 정할 수 있습니다.
How it works/ 04
문의부터 이관까지
이렇게 진행합니다.
네 서비스 모두 같은 순서를 따릅니다. 시작하기 전에 범위와 성공 기준을 합의하고, 끝날 때는 남는 것을 문서로 넘깁니다.
- 01문의지금 상황과 고민을 남겨주시면 담당자가 확인 후 회신합니다.
- 02진단과 범위 합의현황을 보고 무엇을 어디까지 할지, 성공 기준을 숫자로 함께 정합니다.
- 03실행FDE가 팀에 합류해 진행합니다. 진행 상황과 판단 근거를 정기적으로 공유합니다.
- 04이관 또는 운영인수인계 문서와 운영 절차를 남기고 넘기거나, 원하시면 운영까지 이어서 맡습니다.
Deliverables/ 04
남는 것은
이렇습니다.
- 01배포 파이프라인
- 02평가 세트와 기준
- 03모니터링 대시보드
- 04사용량·비용 리포트