What we do/ 04
- 01
배포 파이프라인
모델과 프롬프트를 버전으로 관리합니다. 무엇이 언제 왜 바뀌었는지 남고, 문제가 생기면 이전 버전으로 되돌립니다.
- 02
평가 체계
정답 세트와 평가 기준을 만듭니다. 프롬프트나 모델을 바꿨을 때 좋아졌는지 나빠졌는지 감이 아니라 수치로 비교합니다.
- 03
모니터링
응답 지연, 실패율, 이상 응답을 지켜봅니다. 정해 둔 기준을 넘으면 알림이 갑니다.
- 04
비용 추적
토큰 사용량을 팀과 기능 단위로 나눠 봅니다. 어느 기능이 비용을 쓰는지 드러나야 줄일 곳을 정할 수 있습니다.
Deliverables/ 04
남는 것은
이렇습니다.
- 01배포 파이프라인
- 02평가 세트와 기준
- 03모니터링 대시보드
- 04사용량·비용 리포트
LLMOps,
어디서부터 시작할까요.
지금 상황과 고민을 남겨주시면 담당자가 확인 후 회신합니다. 무엇부터 보면 좋을지 같이 정하는 것으로 시작합니다.