같은 SLO로 비교하는 클라우드 GPU와 전용 서버 총비용
클라우드와 전용 서버의 비용 비교는 시간당 가격표가 아니라, 같은 SLO를 지키는 유용 처리량의 월 총비용 비교여야 합니다. 고정비와 변동비, 대기 용량과 실패 대응을 같은 식에 넣으면 선택 조건이 보입니다.

설계 시나리오: 고객지원 RAG의 복제본 2개 운영 비용
복제본마다 활성 스트림 12개를 맡아 정상 시 24개, 노드 한 대 장애 시 12개를 유지하도록 설계합니다. 금액은 비교 산식을 위한 입력값이며, 운영 목표는 월평균 730시간의 상시 응답입니다.
- 서비스 시간
- 24시간 운영 / 월평균 730시간으로 예산 계산
- 목표 용량
- 정상 24개·노드 장애 시 12개 스트림 / TTFT p95 2.5초·ITL p95 80ms 이하
- 과금 단위
- H는 복제본 풀 전체의 준비 시간 / GPU 한 장씩의 합산 시간과 구분
- 비교 범위
- 컴퓨팅·저장소·전송·운영·장애 대비 / 부가세 제외
먼저 같은 유용 처리량과 대기 용량을 맞춥니다
한 환경은 피크에서 SLO를 포기하고 다른 환경은 예비 장비까지 포함하면 가격 비교가 아닙니다. 두 후보 모두 24개 활성 스트림의 TTFT·ITL 목표와 장애 시 12개 스트림 유지라는 동일한 수용 기준을 만족시켜야 합니다. 이 기준은 GPU 수가 아니라 검증된 유용 처리량으로 확인합니다.
이 글의 H는 요청이 실제로 GPU를 바쁘게 만든 시간이 아니라 두 복제본 풀이 함께 준비된 시간(pool-hours)입니다. 300h 또는 500h는 해당 시간대에만 서비스를 제공하고 나머지 시간의 요청을 다음 서비스 창으로 대기시키는 운영안에서만 가능성이 있습니다. 24×7 상시 응답 SLA라면 H=730h가 필요하며, 300h·500h 행을 상시 운영안으로 읽으면 안 됩니다. 피크를 위해 warm 상태로 둔 용량은 유휴처럼 보여도 SLO 비용입니다.
AWS Pricing Calculator 같은 도구는 구성별 월·연 추정을 검토하는 데 쓰되, 성능 검증 결과와 혼동하지 않습니다.
클라우드는 풀 준비 시간, 전용은 두 노드 월 고정비로 분해합니다
검토식은 항목을 빠뜨리지 않게 합니다. Cloud = H×Rc(pool) + S + E + O. H는 두 복제본 풀이 동시에 warm인 시간, Rc(pool)는 그 풀 전체의 시간당 구성 계수, S는 저장소·백업, E는 송신·리전 전송, O는 운영입니다. standby 또는 장애 대기 복제본은 이미 Rc(pool)에 포함하므로 R을 별도 더하지 않습니다. Dedicated = F(2 nodes) + P + C + N + W + S + O. F는 두 노드의 월 비용, P 전력, C 상면·냉각, N 네트워크, W 보증·예비·교체입니다.
| 항목 | 클라우드 | 전용 | 실제 견적·비용 |
|---|---|---|---|
| 두 복제본 컴퓨팅 | H×Rc(pool) | F(2 nodes) | 입력 필요 |
| 데이터·네트워크 | S+E | N+S | 입력 필요 |
| 시설·지원 | 구성 포함 여부 확인 | P+C+W | 입력 필요 |
| 운영 | O | O | 역할별 시간 입력 |
리스료와 감가상각은 F에 동시에 넣지 않습니다. 소유 장비면 취득가·잔존가·상각 기간으로 월 비용을 계산하고, 리스면 월 납입과 계약 부대비를 사용합니다.
복제본마다 GPU 1개를 쓴다면 풀 730시간은 GPU별 합산 1,460시간입니다. 식의 단가가 풀 전체 기준이므로 H를 다시 두 배로 곱하지 않습니다. 730시간은 365일×24÷12의 예산용 월평균입니다. 실제 월 청구에는 28일·30일·31일의 가동 시간과 시작·종료 시간을 사용합니다. 준비 시간에 청구되는 모델 다운로드·워밍업도 H에 포함합니다.
계산 예시는 풀 준비 시간와 고정 항목을 분리합니다
다음은 공급사 가격이 아닌 검토 입력입니다. 두 복제본 풀의 Rc(pool)=3,000원/시간, 클라우드 고정 항목은 S 120,000원 + E 60,000원 + O 240,000원 = 420,000원/월로 둡니다. 전용의 1,620,000원은 두 노드 F 900,000원 + P 180,000원 + C 180,000원 + N 90,000원 + W 120,000원 + S 60,000원 + O 90,000원입니다. 각 항목의 실제 견적 또는 내부 비용은 마지막 열에 채웁니다. 이때 클라우드는 3,000×H+420,000입니다.
| H: warm pool 시간 | 클라우드 계산 | 전용 계산 | 운영 가능성 |
|---|---|---|---|
| 300h | 1,320,000원 | 1,620,000원 | 서비스 창 외 요청은 다음 창까지 대기 |
| 500h | 1,920,000원 | 1,620,000원 | 서비스 창 외 요청은 다음 창까지 대기 |
| 730h | 2,610,000원 | 1,620,000원 | 24×7 warm, 상시 응답 SLA 검토 가능 |
손익분기 시간은 (1,620,000−420,000)÷3,000=400h입니다. 이는 두 복제본 풀이 같은 유용 처리량과 장애 시 12-stream 조건을 제공하고, 서비스 창 외 대기 정책까지 동일하게 허용할 때만 성립합니다.
| 항목 | 클라우드 입력 | 전용 입력 | 견적·실적 기록 |
|---|---|---|---|
| 컴퓨팅 / 장비 F | 두 복제본 풀 3,000/시간 × H | 2노드 월 상각 900,000 | SKU·구성·계약서 입력 |
| 전력 P | 컴퓨팅 단가 포함 | 180,000 | 소비전력·단가 입력 |
| 상면·냉각 C | 컴퓨팅 단가 포함 | 180,000 | 상면 계약 입력 |
| 전송 E / 네트워크 N | 60,000 | 90,000 | 전송량·초과 과금 입력 |
| 보증·예비 W | 컴퓨팅 지원 범위에 포함 | 120,000 | 교체·지원 범위 입력 |
| 저장소·백업 S | 120,000 | 60,000 | 보관 용량·복구 비용 입력 |
| 운영 O | 8시간 × 30,000 = 240,000 | 3시간 × 30,000 = 90,000 | 월별 작업 시간 입력 |
| 계산에 넣은 합계 | H×3,000 + 420,000 | 1,620,000 | 견적 확정 후 다시 계산 |
전용 운영 3시간은 패치와 장애 대응 자동화가 준비된 안정기 입력입니다. 신규 환경에 그대로 적용하지 않습니다. 전용도 월 8시간이 필요하면 총비용은 1,770,000원, 같은 식의 손익분기는 450시간으로 바뀝니다. 도입·이전 일회성 비용과 세금은 이 월 반복비 표 밖에 별도 예산으로 남깁니다.
민감도 표는 서비스 창과 상시 SLA를 구분합니다
가장 불확실한 입력을 한 번에 하나씩 바꿉니다. 실제 견적, 할인, 전력 단가, 송신량, 운영 인력은 조직과 시점마다 달라 표의 ‘입력 필요’ 칸에 채웁니다. 아래 값은 모두 H×Rc(pool)+420,000의 계산 결과입니다.
| H: warm pool 시간 | Rc=2,400 | Rc=3,000 | Rc=3,600 | SLA 판정 |
|---|---|---|---|---|
| 300h | 1,140,000 | 1,320,000 | 1,500,000 | 24×7 상시 SLA 불가 |
| 500h | 1,620,000 | 1,920,000 | 2,220,000 | 24×7 상시 SLA 불가 |
| 730h | 2,172,000 | 2,610,000 | 3,048,000 | 상시 warm 조건 |
300h와 500h는 ‘낮은 가동률이 더 싸다’는 운영 권고가 아니라, 서비스 창과 요청 대기 정책을 받아들일 때의 민감도입니다. 상시 응답이 계약 조건이라면 730h 행과 동일하거나 더 엄격한 대기 용량을 사용합니다.
장애 대비를 할인으로 지우지 않습니다
전용 서버 한 대의 가격이 낮아도 장애 때 0 스트림이 되면 이 시나리오의 조건을 충족하지 못합니다. 두 번째 서버, 부품·교체 리드타임, 다른 환경의 버스트 경로 중 무엇으로 12개 스트림을 지킬지 비용과 운영 절차에 넣습니다. 클라우드도 가용 영역, 용량 예약, 할당 실패, 모델 재로딩 시간을 확인해야 합니다. 두 복제본을 이미 계산에 넣었으므로 standby 비용을 별도 R로 더하지 않습니다.
| 사건 | 사전 설계 | 검증 증거 | 실제 비용·견적 |
|---|---|---|---|
| 노드 장애 | 나머지 복제본 12-stream 유지 | 장애 훈련의 SLO | 입력 필요 |
| 피크 급증 | 대기열·버스트 규칙 | 부하 시험 | 입력 필요 |
| 장비 교체 | 예비·지원 계약 | 교체 리드타임 | 입력 필요 |
노드가 멈추면 그 노드의 스트림은 실패로 종료하고, 완료되지 않은 답변을 자동 전송하지 않습니다. 남은 복제본에는 동시 12개까지만 배정하고 초과분은 대기·거절 정책으로 돌립니다. 헬스 체크 5초 간격, 연속 2회 실패 시 새 요청 배정 중단, 30초 안에 축소 용량 경로 확인을 장애 시험 목표로 둡니다. 단일 노드 장애와 리전·시설 전체 장애는 범위가 다르므로 후자까지 요구하면 다른 장소의 복제본 비용을 추가합니다.
자금 조달 방식과 자산 비용을 섞지 않습니다
전용 장비 비용 F는 소유와 리스 중 하나의 방법으로 계산합니다. 소유라면 취득가에서 잔존가를 뺀 금액을 내부 상각 기간으로 나누고, 자본 비용과 세무 처리는 재무 기준에 맞춰 별도 검토합니다. 리스라면 월 납입, 선납, 갱신·해지 조건, 포함된 유지보수를 계약서에서 분리합니다. 같은 장비에 월 상각과 월 리스료를 모두 더하면 이중 계산입니다.
클라우드의 약정도 마찬가지입니다. 온디맨드, 예약, 절감 약정의 차이는 시간 계수 Rc와 중지 가능성에 반영합니다. 사용하지 못하는 약정 용량은 변동비처럼 보이더라도 사실상 고정비가 됩니다. 비교표에는 계약 기간, 선결제 여부, 용량 보장 여부, 조기 변경 제약을 적습니다.
| 선택 | 월 비용 입력 | 별도 기록 |
|---|---|---|
| 소유 | 상각 기반 F | 잔존가·교체 계획 |
| 리스 | 계약 납입 기반 F | 만료·위약 조건 |
| 클라우드 약정 | 유효 Rc와 최소 지출 | 리전·용량 보장 |
월 비용을 유용한 작업 단위로도 읽습니다
시간당 비용만 낮추면 유리해 보이지만, 실제로는 같은 SLO 아래 얼마나 많은 유효 작업을 완료했는지까지 봐야 합니다. 예를 들어 한 환경이 대기열을 길게 두고 요청을 취소시키면 청구 시간은 줄어도 고객지원 업무가 줄어든 것은 아닙니다. 완료 요청, 처리한 입력·출력 토큰, 실패·재시도, p95 TTFT와 ITL을 비용표와 같은 기간에 기록합니다.
단위 비용은 ‘월 총비용 ÷ 유효 완료 요청’ 또는 ‘월 총비용 ÷ 품질 기준을 통과한 작업’처럼 제품에 맞는 분모를 선택합니다. 분모는 두 환경에서 같아야 합니다. 더 짧은 출력이나 더 약한 품질 기준으로 처리량을 부풀린 값을 비교하면 안 됩니다. 배치 작업이 전용 장비의 남는 시간을 쓴다면 그 작업의 유용 처리량과 배분 기준도 명시합니다.
운영 인력 O도 추정값으로 숨기지 않습니다. 패치, 장애 대응, 모델 배포, 보안 검토, 공급사 티켓 처리에 든 시간을 역할별로 기록해 월 비용에 반영합니다. 자동화가 늘면 O가 줄 수 있지만, 자동화 구축 자체의 비용과 책임 소유자도 검토해야 합니다.
월간 비교표는 운영 기록으로 갱신합니다
매월 실제 H, 유용 처리량, p95 지연, 저장소·송신, 온콜 시간을 입력값 옆에 기록합니다. 청구 시간이 줄었는데 대기열 거절이 늘었다면 비용 개선이 아닙니다. 반대로 고정 장비의 남는 시간이 배치 작업에 쓰이면 그 가치는 어떤 서비스에 배분할지도 명확히 합니다.
결론은 조건부로 씁니다. 동일한 두 복제본 풀, 동일한 12-stream 장애 수용량, 동일한 서비스 창을 비교할 때만 400h라는 산식이 의미를 갖습니다. 24×7 응답이 요구되면 730h 상시 warm 행을 사용합니다. 서비스 창 밖의 요청을 다음 창으로 대기시킬 수 있을 때에만 300h·500h 민감도 행을 사용합니다. 어느 경우든 실제 견적과 계약 조건을 채운 최신 표가 계산 입력을 대체합니다.
- SLO 고정
유용 처리량과 장애 시 최소 용량 정의
- 구성 검증
두 후보가 같은 부하 행렬 통과
- 비용 분해
변동·고정·운영 항목 분리
- 민감도
서비스 창과 pool 계수 변화 계산
- 월간 갱신
청구서와 SLO를 함께 검토