LLM 추론 서버 구축과 GPU 서빙
B2B 지원 도구의 답변은 빠른 문장보다 먼저 권한을 지켜야 합니다. 문서 권한, 검색 범위, 대기열, 사람에게 넘기는 기준을 하나의 요청 경로로 설계합니다.

설계 시나리오: 240개 조직이 쓰는 B2B 지원 보조 도구
각 조직의 상담 담당자가 계약, 제품, 장애 대응 문서를 검색해 초안을 만들고 검토 후 고객에게 보냅니다. 시스템은 답을 아는 척하기보다 인용 가능한 문서가 없으면 보류하고, 권한 없는 문서는 검색 결과와 프롬프트 양쪽에서 제외합니다. 규모와 시간은 설계 입력 및 검증 목표입니다.
- 조직 수
- 240개, 조직별 문서·사용자 ACL 분리
- 피크 요청
- 분당 180건, 동시에 생성 중인 요청 30건을 설계 입력으로 사용
- 입력 예산
- 질문 800토큰 + 검색 문맥 최대 6,000토큰
- 출력 예산
- 초안 최대 700토큰, 스트리밍 취소 가능
- 검수 표본
- 근거 인용·권한 차단·보류 판단 각 200건, 총 600건
문제는 모델 호출이 아니라 권한 있는 답변입니다
이 시나리오에서 한 회사의 계약 문서가 다른 회사 상담 화면에 나타나면 응답 속도와 관계없이 서비스는 실패합니다. 따라서 검색 전에 조직, 사용자 역할, 문서 상태를 결정하고 그 결과를 검색 필터와 생성 문맥에 같은 방식으로 적용합니다. 모델에는 허용된 문서 조각과 질문, 답변 형식만 전달합니다.
두 번째 문제는 불확실성입니다. 검색 점수가 낮거나 서로 다른 문서가 충돌할 때 그럴듯한 문장을 이어 쓰면 상담 담당자의 확인 비용이 커집니다. 응답은 근거가 있는 초안, 추가 확인 필요, 담당자에게 이관의 세 상태를 가집니다. 제품 요구사항으로 상태를 먼저 정하면 모델 교체 뒤에도 행동 규칙이 남습니다.
| 상태 | 조건 입력 | 사용자에게 보이는 결과 |
|---|---|---|
| draft | 허용 문서가 있고 근거 조각이 충분함 | 초안, 인용 문서, 검토 전송 버튼 |
| review | 근거가 부족하거나 정책 문서가 충돌함 | 확인할 문서와 보류 이유 |
| handoff | 권한 오류, 위험 키워드, 시간 제한 초과 | 담당 큐와 원 질문·검색 기록 |
요청은 짧은 경로와 긴 경로로 나눕니다
대화 요청은 동기 경로에 남깁니다. 인증, 조직 확인, 검색, 재순위, 생성, 감사 기록을 한 요청 ID로 묶습니다. 원본 문서 수집과 임베딩 생성은 비동기 경로로 분리합니다. 문서를 올렸다고 즉시 답변 근거가 되지 않으며, 추출·분할·ACL 부여·인덱싱이 완료된 버전만 검색 대상으로 승격합니다.
| 순서 | 처리 | 실패 시 행동 |
|---|---|---|
| 1 | 세션에서 organization_id와 역할 확인 | 401 또는 403, 검색을 시작하지 않음 |
| 2 | 질문 정규화와 위험 분류 | 정책 큐로 이관, 모델 호출 생략 |
| 3 | 조직·역할·문서 상태 필터로 후보 검색 | 후보 없음이면 review 응답 |
| 4 | 허용 후보만 재순위, 인용 조각 확정 | 상충하면 review 응답 |
| 5 | 대기열 입장 뒤 LLM 스트리밍 | 마감 시 handoff, 부분 답변 폐기 |
| 6 | 응답·근거·정책 결정 감사 기록 | 시작 감사 기록 없이는 전송하지 않음 / 완료 기록은 내구성 큐로 재시도 |
- 세션 확인
organization_id와 역할을 확정한다.
- 정책 분기
위험·권한 오류를 모델 호출 전에 이관한다.
- 필터 검색
조직·역할·문서 상태로 후보를 제한한다.
- 재순위
허용 후보 안에서 인용 조각을 고른다.
- 생성·취소
대기열과 마감 안에서 스트리밍한다.
- 감사 기록
결정·근거·버전을 요청 ID에 묶는다.
검색 필터는 재순위보다 앞에 둡니다
벡터 검색은 의미가 가까운 문서를 찾는 방법이지 권한 판단기가 아닙니다. 인덱스 레코드에는 문서 ID, organization_id, 허용 역할, 문서 버전, 활성 상태를 함께 저장합니다. 검색 쿼리는 이 속성으로 먼저 좁힙니다. 재순위 모델은 좁혀진 후보 안에서만 작동합니다. 생성 프롬프트에는 최종 선택된 조각의 문서 ID와 버전을 인용 메타데이터로 넣습니다.
인덱스는 후보를 빠르게 찾는 용도입니다. 프롬프트를 만들기 직전과 캐시된 답 또는 스트림을 사용자에게 전달하기 직전에 원본 권한 저장소의 현재 ACL을 다시 확인합니다. revoke 이벤트를 받은 문서는 인덱스와 응답 캐시에서 즉시 무효화하고, 비동기 삭제 완료 전에도 전달 경로에서는 차단합니다. 검색 결과 캐시는 조직, 역할, ACL 버전, 인덱스 버전을 키에 포함합니다.
| 상태 | 검색 가능 | 생성 문맥 포함 | 운영 조치 |
|---|---|---|---|
| uploaded | 아니오 | 아니오 | 추출 작업 대기 |
| indexed | 예, ACL 필터 후 | 예, 전달 전 ACL 재확인 | 버전과 해시 기록 |
| revoking | 아니오 | 아니오 | 인덱스·캐시 무효화와 삭제 확인 |
| failed | 아니오 | 아니오 | 관리자 재처리 요청 |
권한 변경은 이미 생성 중인 응답에도 적용합니다. 활성 요청에 참조 문서 ID와 ACL 버전을 연결하고, 권한 회수 시 해당 스트림과 생성 작업을 취소합니다. 전송 게이트는 각 청크를 내보내기 전에 현재 권한 버전을 확인하고, 확인할 수 없으면 전송을 멈춥니다. 변경 확정과 청크 전송 허가를 같은 권한 게이트에서 순서대로 처리해 확인 직후의 경쟁 조건을 막습니다. 결과는 revoked로 감사 기록에 남기고 화면은 미완성 초안을 폐기합니다. 이미 전달된 토큰은 회수할 수 없으므로 이 동작은 이후 전송을 차단하는 계약입니다.
GPU는 평균이 아니라 피크의 대기열로 설계합니다
설계 입력은 분당 180건입니다. 이를 초당 3건으로 환산해도 모든 요청이 동시에 생성되는 것은 아닙니다. 그러나 긴 문맥과 700토큰 출력이 겹치면 KV 캐시와 요청 대기가 늘어납니다. 모델 크기, 양자화 방식, 문맥 길이, 동시 시퀀스 수를 고정한 뒤 대표 질문으로 측정합니다. vLLM은 TTFT, inter-token latency, KV-cache 관련 메트릭을 제공합니다. 메트릭 문서의 명칭을 관측 계약에 그대로 사용합니다.
승인 대상은 특정 GPU 이름이 아닙니다. 동시 30건과 입력·출력 예산에서 대기, 생성, 오류가 어떤 분포를 보이는지입니다. 양자화는 메모리 절약 방법 중 하나이며 모델과 백엔드 호환성, 과업 품질을 다시 평가합니다. 지원되는 백엔드는 vLLM 양자화 문서로 확인합니다.
| 축 | 값 | 기록할 항목 |
|---|---|---|
| 동시 생성 | 10, 20, 30 | TTFT p50/p95, 대기 시간 |
| 문맥 길이 | 2,000 / 4,000 / 6,800 토큰 | KV 캐시 사용량, 오류 |
| 출력 상한 | 250 / 700 토큰 | inter-token p50/p95, 취소율 |
| 배치 정책 | 동적 배치 켜기/끄기 | 처리량과 첫 응답의 변화 |
대기열·마감·취소는 API 계약입니다
분당 180건은 초당 3건의 offered load입니다. 30개 활성 슬롯으로 이 도착률을 계속 처리하려면 평균 활성 시간이 10초보다 짧아야 여유가 생깁니다. 10초는 30÷3으로 계산한 포화 경계입니다. 대기열은 짧은 버스트를 흡수할 뿐 지속 처리량을 늘리지 않습니다. 6,800토큰 문맥과 700토큰 출력에서 가능한 활성 시간은 부하 시험으로 확인합니다. 따라서 30건은 GPU 용량 주장이 아니라 admission 상한입니다. 대표 프롬프트와 동시성으로 벤치마크한 뒤 활성 시간, 대기, 거절률을 다시 정합니다.
초기 정책은 조직당 활성 3건, 전체 활성 30건, 전체 대기 36건입니다. 대기열까지 찼거나 조직 한도를 넘으면 Retry-After를 포함한 429를 반환합니다. 상담원은 기다리는 대신 별도 업무 검토 큐로 넘길 수 있으며, 이 큐를 GPU 실행 대기열과 섞지 않습니다. 생성 시작 전 대기 마감은 12초, 생성 경로 전체 마감은 45초로 둡니다. 브라우저 연결이 끊기면 스트림을 취소하고, 이미 생성한 토큰을 다음 요청의 문맥으로 재사용하지 않습니다. 작업자 장애에는 재시도 키를 사용하되 사용자에게 답변을 중복 전송하지 않습니다.
평가는 모델 점수와 업무 결정을 분리합니다
평가 세트는 총 600건으로 시작합니다. 조직마다 허용된 문서만 답의 근거가 되는 질문 200건, 권한이 다른 문서를 유도하는 질문 200건, 근거가 없어 보류해야 하는 질문 200건입니다. 정답 문장 하나를 강요하기보다 인용의 적합성, 보류 결정, 형식 준수, 사람 검토자의 수정량을 기록합니다. 평가 데이터에는 실제 고객 정보 대신 승인된 샘플 또는 익명화된 자료를 사용합니다.
| 단계 | 수용 확인 | 다음 단계 조건 |
|---|---|---|
| 폐쇄 평가 | 권한 위반 0건을 표본에서 확인 | 검색·생성 로그 검토 완료 |
| 내부 파일럿 | review와 handoff가 UI에서 구분됨 | 담당자 피드백 분류 가능 |
| 조직 제한 출시 | 한도·마감·취소 이벤트가 관측됨 | 롤백 절차 리허설 완료 |
| 확대 검토 | 대표 트래픽에서 지표를 다시 측정 | 용량·모델 변경안 승인 |
남기는 산출물
요청 상태 전이, ACL 속성, 문서 수명주기, API 오류 형식, 프롬프트와 인용 형식, 부하 시험 결과를 하나의 설계 패키지로 남깁니다. 운영자는 어떤 조직이 어떤 모델·인덱스 버전으로 답을 받았는지 확인할 수 있어야 합니다. 모델 변경은 평가 세트와 트래픽 조건을 다시 통과하는 배포 후보로 취급합니다.
- 검색 필터와 역할 매핑 명세
- ingestion 작업과 재처리·삭제 절차
- 대기열, 마감, 취소, 오류 응답 계약
- 측정 대시보드 항목과 부하 시험 기록
- 모델·프롬프트·인덱스 버전 변경 기록
단계적 출시와 운영 문의
먼저 내부 문서와 제한된 역할로 폐쇄 평가를 진행합니다. 이후 선택한 조직에서 초안만 보이게 하고, 답변 전송은 사람 검토를 유지합니다. 관측 항목이 쌓이면 조직 수와 동시 한도를 한 단계씩 늘립니다. 권한 위반 의심, 인용 누락, 오류율 급증은 즉시 생성 경로를 끄고 검색 결과와 이관 흐름만 남기는 롤백 규칙으로 둡니다.
문의에는 조직 구조, 역할 표, 문서 저장소와 삭제 규칙, 대표 질문·좋은 답·나쁜 답, 피크 시간대의 예상 요청을 보내 주세요. GPU 사양보다 먼저 이 입력을 받아야 평가 매트릭스와 요청 한도를 정할 수 있습니다.
초기 운영 회의에서는 한 요청을 끝까지 따라갑니다. 어떤 역할의 사용자가 어떤 문서를 바탕으로 질문했는지, 어떤 필터가 적용됐는지, 검색 후보 중 무엇이 선택됐는지, 모델이 언제 취소됐는지를 요청 ID 하나로 확인합니다. 이 경로가 보이지 않으면 품질 문제와 권한 문제, 용량 문제를 구분할 수 없습니다. 감사 기록은 원문 전체를 무분별하게 복제하는 저장소가 아니라 판단에 필요한 식별자와 버전, 정책 결과를 남기는 장부로 설계합니다.
트래픽 확대 전에는 비정상 경로도 시험합니다. 인덱싱이 지연된 새 문서, 삭제 처리 중인 문서, 역할이 바뀐 세션, 연결이 끊긴 스트림, 대기열 한도를 넘은 조직을 각각 재현합니다. 기대하는 결과는 더 많은 답변이 아닙니다. 허용되지 않은 문서가 생성 문맥에 들어가지 않고, 사용자와 운영자가 다음 행동을 알 수 있는 상태로 끝나는지입니다.
관측 항목도 요청 수 하나로 끝내지 않습니다. 조직별 대기열 길이, 취소 원인, 검색 후보 수, 필터 뒤 남은 후보 수, 인용이 붙은 응답 비율, review와 handoff 비율을 함께 봅니다. 이 조합은 모델이 느린 경우와 검색이 비어 있는 경우, 특정 조직이 전체 용량을 점유하는 경우를 서로 다른 운영 문제로 분리합니다. 지표에 개인정보나 문서 본문을 넣지 않고 식별자와 집계값으로 남기는 기준도 명세에 포함합니다.
변경 관리는 모델 파일만 바꾸는 작업이 아닙니다. 임베딩 모델, 분할 규칙, 재순위 기준, 프롬프트 형식, 안전 정책 중 하나가 바뀌면 검색 결과와 생성 결과가 함께 달라질 수 있습니다. 따라서 배포 후보에는 변경 목록, 평가 세트 결과, 제한 조직의 관측 기간, 이전 버전으로 되돌리는 조건을 붙입니다. 운영자가 어떤 조합에서 답변이 만들어졌는지 추적할 수 있어야 사고를 재현하고 수정할 수 있습니다.