멀티테넌트 RAG 추론 GPU를 설계하는 방법
GPU 용량은 모델이 올라가는지로 결정하지 않습니다. 같은 업무를 동시에 처리하면서도 첫 토큰과 스트리밍 지연 약속을 지킬 수 있는지를 계산하고, 실제 요청 형태로 검증해야 합니다.

설계 시나리오: B2B 고객지원용 8B RAG 서버
120개 고객사의 상담원이 한·영 정책 문서를 검색하고 답변 초안을 검토하는 서비스를 대상으로 합니다. 규모와 시간은 설계 입력 및 검증 목표입니다.
- 문서·권한
- 고객사 120개 / 정책 문서 6만 건 / 조직별 검색 범위 분리
- 모델
- 8B dense, BF16 가중치
- 요청
- 입력 6,000 tokens, 출력 450 tokens
- 피크
- 활성 스트림 24개, 대기 요청 12개
- 목표
- TTFT p95 2.5초 이하, ITL p95 80ms 이하
용량보다 먼저 SLO와 입장 규칙을 정합니다
이 서비스에서 성공은 GPU 사용률이 높다는 뜻이 아닙니다. 테넌트가 긴 정책 문서를 넣어도 먼저 답변이 시작되고, 다른 테넌트의 짧은 질문이 끝없이 밀리지 않아야 합니다. 여기서 TTFT는 요청이 서버에 들어온 시점부터 첫 출력 토큰이 전달될 때까지의 시간입니다. ITL은 스트리밍 중 인접 출력 토큰 사이의 시간입니다. TTFT p95는 요청별 첫 토큰 지연의 95백분위, ITL p95는 관측한 출력 토큰 간격의 95백분위입니다. 두 값의 표본 단위를 구분해야 지연이 긴 요청을 놓치지 않습니다.
입장 제어는 용량 설계의 일부입니다. 활성 스트림 24개를 넘기면 새 요청을 대기열에 넣고, 대기 12개를 넘기면 재시도 가능한 응답을 돌려줍니다. 긴 컨텍스트는 별도 큐 또는 더 낮은 우선순위로 보낼지 제품 정책으로 정합니다. 무제한 동시성은 친절한 정책이 아니라 기존 요청의 SLO를 깨는 정책일 수 있습니다.
vLLM metrics는 TTFT, inter-token latency, 요청 단계와 KV 캐시 관측에 필요한 지표를 제공합니다.
- 접수
테넌트별 제한과 대기열 확인
- 검색
문서 조각과 입력 토큰 예산 확정
- Prefill
TTFT와 긴 입력 압박 관찰
- Decode
ITL과 활성 스트림 제어
- 완료
지표·비용·품질 표본 기록
가중치 계산은 시작선입니다
8B 파라미터를 BF16 2 bytes로 저장하는 단순 하한은 8,000,000,000 × 2 = 16,000,000,000 bytes, 약 14.9 GiB입니다. 이는 가중치만의 계산입니다. 실행 엔진의 워크스페이스, 통신 버퍼, 그래프, 단편화 여유는 여기 포함되지 않습니다.
| 영역 | 계산 또는 확인 방법 | 설계 의미 |
|---|---|---|
| 가중치 | 파라미터 × 저장 bytes | 배포 가능한 최소선 |
| KV 캐시 | 레이어·토큰·활성 시퀀스 | 동시성과 긴 입력의 비용 |
| 런타임 여유 | 엔진별 관찰 | OOM과 급격한 지연 방지 |
따라서 ‘16GB GPU면 된다’는 결론은 이 워크로드에 답하지 못합니다. 같은 가중치가 들어가도 캐시와 여유가 부족하면 활성 스트림 목표를 지키지 못합니다.
KV 캐시는 요청 길이와 동시성의 곱으로 봅니다
이 용량 계산에서는 dense-GQA 모델을 32 layers, 8 KV heads, head dimension 128, K와 V 각각 BF16 2 bytes라고 둡니다. 토큰 하나당 KV는 32 × 8 × 128 × 2(K/V) × 2 bytes = 131,072 bytes, 즉 약 128 KiB입니다. 입력 6,000과 출력 상한 450을 합친 6,450 tokens는 시퀀스 하나에 약 806 MiB라는 단순 추정이 됩니다. 24개가 동시에 활성화되면 약 18.9 GiB입니다.
| 입력값 | 값 | 결과 |
|---|---|---|
| 토큰당 KV | 32×8×128×2×2 bytes | 128 KiB |
| 시퀀스 | 6,450 tokens | 약 806 MiB |
| 24 활성 스트림 | 806 MiB×24 | 약 18.9 GiB |
실제 모델의 레이어, KV head, 정밀도와 캐시 관리 방식은 반드시 해당 체크포인트와 런타임으로 확인합니다. 캐시 지표를 운영에서 보는 이유도 이 추정이 고정된 사실이 아니기 때문입니다.
메모리 수용량과 성능 수용량은 다릅니다
메모리가 24개 스트림을 수용해도, prefill과 decode가 목표 TTFT·ITL을 지킨다는 뜻은 아닙니다. 긴 입력은 prefill 계산을 밀어 올리고, 출력이 겹치면 decode 스케줄이 흔들립니다. 배치 정책, 토큰 예산, 텐서 병렬, 네트워크까지 성능 수용량에 영향을 줍니다.
| 판정 | 통과 기준 | 실패 시 우선 조치 |
|---|---|---|
| 메모리 | 캐시·런타임 여유를 남김 | 컨텍스트·활성 수 제한 |
| TTFT | p95 2.5초 이하 | prefill 분리·대기열 제어 |
| ITL | p95 80ms 이하 | decode 예산·복제본 조정 |
런타임 여유를 4GiB로 배정하면 가중치 14.9GiB + KV 18.9GiB + 여유 4GiB = 약 37.8GiB입니다. 아래는 단일 복제본의 가용 메모리 예산을 비교한 표입니다. 특정 GPU 제품의 표기 용량이나 실측 사용량과 구분해 읽습니다.
| 가용 예산 | 필요량 추정 | 남는 공간 | 설계 결정 |
|---|---|---|---|
| 24GiB | 37.8GiB | 13.8GiB 부족 | 현재 BF16·컨텍스트·동시성 조합 제외 |
| 48GiB | 37.8GiB | 10.2GiB | 실제 엔진 메모리와 지연 시간 시험 |
| 80GiB | 37.8GiB | 42.2GiB | 추가 메모리가 처리량으로 이어지는지 비용과 함께 검증 |
4GiB는 초기 예산이므로 워밍업과 최대 길이 부하에서 다시 잽니다. 양자화로 가중치를 줄여도 BF16 KV 캐시는 그대로일 수 있습니다. 메모리가 남는 후보를 고른 다음에야 prefill·decode 성능을 비교합니다.
벤치마크는 대표 요청 행렬로 실행합니다
카드 스펙이나 단일 프롬프트 결과를 배포 근거로 삼지 않습니다. 모델 버전, 양자화, max tokens, 배치 정책, 워밍업, 리전과 복제본 수를 고정하고 아래 행렬을 반복합니다. 양자화는 지원 경로와 품질 영향이 조합마다 다르므로 공식 양자화 문서의 해당 백엔드를 확인한 뒤 도메인 평가를 통과시킵니다.
| 군 | 입력/출력 | 동시성 | 판정 |
|---|---|---|---|
| 짧은 질의 | 800/250 | 8 | TTFT·ITL p95 |
| RAG 표준 | 6,000/450 | 24 | 목표 SLO와 대기열 |
| 긴 문서 | 12,000/600 | 8 | 격리 정책과 오류율 |
처리량은 유효 완료 요청과 생성 토큰으로 함께 보고, 취소·타임아웃·재시도는 숨기지 않습니다.
각 군은 5분 워밍업 후 20분씩 3회 실행하고 군별 결과를 따로 저장합니다. 먼저 동시성 고정 시험으로 생성 중인 요청의 동작을 확인하고, 다음에는 초당 0.25·0.5·1건의 외부 도착률로 부하를 올려 적체를 봅니다. 동시성 고정 시험만으로 분당 처리 가능량을 약속하지 않습니다.
제품 API의 도착·큐 입장·엔진 호출·첫 토큰·완료 시각을 같은 요청 ID로 기록합니다. 엔진의 TTFT만으로 검색과 API 대기를 포함한 사용자 지연을 대신하지 않습니다. 대기열은 최대 12건, 체류 한도는 1초로 시작하고, 이를 넘긴 요청은 429와 재시도 시점으로 응답합니다. 성공 요청의 p95와 별도로 전체 도착 요청 중 거절·시간 초과 비율을 기록합니다. 정상 부하에서는 이 비율 1% 미만을 검증 목표로 두고, 초과 부하 시험에서는 기존 스트림의 지연과 복구 시간을 봅니다.
| 실행 조건 | 사용자 지연 | 처리 결과 | 자원·품질 |
|---|---|---|---|
| 모델 해시·엔진·GPU·드라이버·입력군·도착률 | API TTFT p50/p95/p99, ITL p95, 큐 체류 p95 | 도착·완료·429·취소·오류 건수와 유효 완료/초 | 최대 메모리, KV 사용률, 인용 적합성, 출력 토큰 수 |
대시보드는 GPU보다 요청의 운명을 보여 줍니다
운영 화면에는 GPU 사용률과 함께 요청 길이 분포, 활성 시퀀스, KV 캐시 사용량, 대기열 체류 시간, 취소율, 오류 이유를 둡니다. 사용률이 낮아도 긴 prefill이 몰리면 TTFT는 악화될 수 있고, 사용률이 높아도 짧은 decode만 처리한다면 사용자 체감은 다를 수 있습니다.
테넌트별 지표도 필요합니다. 한 테넌트의 대량 문서 요청이 전체 p95를 밀어 올리는지, 특정 검색 결과가 입력 길이를 부풀리는지 확인해야 공정성 정책을 조정할 수 있습니다. 개인정보와 프롬프트 원문은 접근 정책에 맞게 다루고, 운영 지표에는 필요한 집계만 남깁니다.
| 신호 | 해석 | 첫 확인 |
|---|---|---|
| TTFT p95 지속 초과 | prefill 또는 대기열 압박 | 입력 길이·큐 |
| ITL p95 지속 초과 | decode 경쟁 | 활성 스트림 |
| 캐시 포화 | 메모리 수용량 접근 | 긴 요청 격리 |
알림 임계값은 위 시나리오의 수용 목표와 연결합니다. 측정은 배포 전과 같은 정의를 써야 추세를 비교할 수 있습니다.
검색 품질과 용량 정책을 함께 조정합니다
RAG에서 입력 토큰은 모델 앞에 이미 결정됩니다. 검색 결과를 많이 붙이면 근거가 풍부해 보일 수 있지만, prefill 시간과 KV 캐시는 늘고 다른 요청의 첫 응답도 늦어집니다. 반대로 무조건 짧게 자르면 답변이 문맥을 잃을 수 있습니다. 따라서 검색 top-k, 청크 길이, 중복 제거, 재랭킹, 인용 방식은 품질 팀과 인프라 팀이 같은 실험표에서 바꿔야 합니다.
이 시나리오에서는 문서 조각을 넣기 전 토큰 예산을 정하고, 초과 시 어떤 조각을 남길지 명시합니다. 질문 자체, 최신성, 권한, 검색 점수, 중복 여부가 우선순위가 될 수 있습니다. 테넌트 간 데이터 격리는 검색 단계에서 먼저 보장해야 하며, 추론 대기열의 공정성 규칙이 접근 제어를 대체하지는 않습니다.
평가 세트도 둘로 나눕니다. 하나는 답변이 근거 문서를 정확히 사용했는지 보는 제품 품질 세트이고, 다른 하나는 짧음·표준·긴 입력을 섞어 SLO를 재는 용량 세트입니다. 모델이나 검색 정책을 바꿀 때 두 세트를 함께 통과해야 합니다. 한쪽의 개선이 다른 쪽의 악화로 이어지는지를 기록하면 ‘더 많은 컨텍스트’와 ‘더 큰 GPU’라는 직관을 검증할 수 있습니다.
확장은 복제본 추가만이 아니라 실패 대응입니다
초기에는 한 복제본에 트래픽 일부를 보내고, 같은 행렬의 p95와 캐시 압박을 관찰합니다. TTFT가 목표를 넘으면 먼저 대기열·입력 상한·prefill 경로를 확인합니다. ITL만 악화되면 decode 경쟁과 활성 스트림을 봅니다. OOM 또는 캐시 포화는 새 요청을 제한하고 긴 문서 경로를 격리할 신호입니다.
확장 조건은 ‘GPU가 90%’가 아니라 SLO 위반 지속 시간과 대기열 길이로 둡니다. 새 복제본은 헬스 체크, 모델 워밍업, 롤백 기준을 통과한 뒤 넣습니다. 장애 시에는 남은 복제본으로 허용할 동시성, 요청 거절 문구, 비스트리밍 대체 여부를 미리 정합니다.
변경은 수치와 사용자 사례를 함께 남깁니다
용량 계획은 배포 당일의 문서가 아니라 변경 관리 기록입니다. 모델 버전, 토크나이저, 양자화, 최대 컨텍스트, 검색 정책, 복제본 수 중 하나를 바꾸면 이전 결과와 동일한 행렬을 다시 실행합니다. 실행 환경의 드라이버와 런타임, 프롬프트 버전, 측정 시작·종료 시각도 남깁니다. 그래야 예상치 못한 지연이 생겼을 때 원인을 카드 세대나 모델 이름으로 추측하지 않습니다.
검토 회의에서는 p50만 보지 않습니다. p95가 악화된 요청의 길이, 테넌트, 대기열 상태, 오류 코드를 보고 대응의 순서를 정합니다. 단기적으로는 입력 상한과 admission control을 조정하고, 중기적으로는 모델 라우팅·복제본·캐시 정책을 바꾸며, 장기적으로는 제품의 문서 처리 경험을 재설계할 수 있습니다. 같은 SLO와 측정 정의로 기록하면 모델을 바꾼 뒤에도 이전 배포와 직접 비교할 수 있습니다.