서비스

LLM 추론 서버 구축과 GPU 서빙

B2B 지원 도구의 답변은 빠른 문장보다 먼저 권한을 지켜야 합니다. 문서 권한, 검색 범위, 대기열, 사람에게 넘기는 기준을 하나의 요청 경로로 설계합니다.

흑연색 하우징 안에 프로세서와 메모리, 냉각 요소가 배치된 개념 일러스트

설계 시나리오: 240개 조직이 쓰는 B2B 지원 보조 도구

각 조직의 상담 담당자가 계약, 제품, 장애 대응 문서를 검색해 초안을 만들고 검토 후 고객에게 보냅니다. 시스템은 답을 아는 척하기보다 인용 가능한 문서가 없으면 보류하고, 권한 없는 문서는 검색 결과와 프롬프트 양쪽에서 제외합니다. 규모와 시간은 설계 입력 및 검증 목표입니다.

조직 수
240개, 조직별 문서·사용자 ACL 분리
피크 요청
분당 180건, 동시에 생성 중인 요청 30건을 설계 입력으로 사용
입력 예산
질문 800토큰 + 검색 문맥 최대 6,000토큰
출력 예산
초안 최대 700토큰, 스트리밍 취소 가능
검수 표본
근거 인용·권한 차단·보류 판단 각 200건, 총 600건

문제는 모델 호출이 아니라 권한 있는 답변입니다

이 시나리오에서 한 회사의 계약 문서가 다른 회사 상담 화면에 나타나면 응답 속도와 관계없이 서비스는 실패합니다. 따라서 검색 전에 조직, 사용자 역할, 문서 상태를 결정하고 그 결과를 검색 필터와 생성 문맥에 같은 방식으로 적용합니다. 모델에는 허용된 문서 조각과 질문, 답변 형식만 전달합니다.

두 번째 문제는 불확실성입니다. 검색 점수가 낮거나 서로 다른 문서가 충돌할 때 그럴듯한 문장을 이어 쓰면 상담 담당자의 확인 비용이 커집니다. 응답은 근거가 있는 초안, 추가 확인 필요, 담당자에게 이관의 세 상태를 가집니다. 제품 요구사항으로 상태를 먼저 정하면 모델 교체 뒤에도 행동 규칙이 남습니다.

요청 결과 계약
상태조건 입력사용자에게 보이는 결과
draft허용 문서가 있고 근거 조각이 충분함초안, 인용 문서, 검토 전송 버튼
review근거가 부족하거나 정책 문서가 충돌함확인할 문서와 보류 이유
handoff권한 오류, 위험 키워드, 시간 제한 초과담당 큐와 원 질문·검색 기록

요청은 짧은 경로와 긴 경로로 나눕니다

대화 요청은 동기 경로에 남깁니다. 인증, 조직 확인, 검색, 재순위, 생성, 감사 기록을 한 요청 ID로 묶습니다. 원본 문서 수집과 임베딩 생성은 비동기 경로로 분리합니다. 문서를 올렸다고 즉시 답변 근거가 되지 않으며, 추출·분할·ACL 부여·인덱싱이 완료된 버전만 검색 대상으로 승격합니다.

요청 시퀀스와 실패 처리
순서처리실패 시 행동
1세션에서 organization_id와 역할 확인401 또는 403, 검색을 시작하지 않음
2질문 정규화와 위험 분류정책 큐로 이관, 모델 호출 생략
3조직·역할·문서 상태 필터로 후보 검색후보 없음이면 review 응답
4허용 후보만 재순위, 인용 조각 확정상충하면 review 응답
5대기열 입장 뒤 LLM 스트리밍마감 시 handoff, 부분 답변 폐기
6응답·근거·정책 결정 감사 기록시작 감사 기록 없이는 전송하지 않음 / 완료 기록은 내구성 큐로 재시도
권한 확인부터 감사 기록까지의 요청 경로
  1. 세션 확인

    organization_id와 역할을 확정한다.

  2. 정책 분기

    위험·권한 오류를 모델 호출 전에 이관한다.

  3. 필터 검색

    조직·역할·문서 상태로 후보를 제한한다.

  4. 재순위

    허용 후보 안에서 인용 조각을 고른다.

  5. 생성·취소

    대기열과 마감 안에서 스트리밍한다.

  6. 감사 기록

    결정·근거·버전을 요청 ID에 묶는다.

검색 필터는 재순위보다 앞에 둡니다

벡터 검색은 의미가 가까운 문서를 찾는 방법이지 권한 판단기가 아닙니다. 인덱스 레코드에는 문서 ID, organization_id, 허용 역할, 문서 버전, 활성 상태를 함께 저장합니다. 검색 쿼리는 이 속성으로 먼저 좁힙니다. 재순위 모델은 좁혀진 후보 안에서만 작동합니다. 생성 프롬프트에는 최종 선택된 조각의 문서 ID와 버전을 인용 메타데이터로 넣습니다.

인덱스는 후보를 빠르게 찾는 용도입니다. 프롬프트를 만들기 직전과 캐시된 답 또는 스트림을 사용자에게 전달하기 직전에 원본 권한 저장소의 현재 ACL을 다시 확인합니다. revoke 이벤트를 받은 문서는 인덱스와 응답 캐시에서 즉시 무효화하고, 비동기 삭제 완료 전에도 전달 경로에서는 차단합니다. 검색 결과 캐시는 조직, 역할, ACL 버전, 인덱스 버전을 키에 포함합니다.

문서 수명주기 규칙
상태검색 가능생성 문맥 포함운영 조치
uploaded아니오아니오추출 작업 대기
indexed예, ACL 필터 후예, 전달 전 ACL 재확인버전과 해시 기록
revoking아니오아니오인덱스·캐시 무효화와 삭제 확인
failed아니오아니오관리자 재처리 요청

권한 변경은 이미 생성 중인 응답에도 적용합니다. 활성 요청에 참조 문서 ID와 ACL 버전을 연결하고, 권한 회수 시 해당 스트림과 생성 작업을 취소합니다. 전송 게이트는 각 청크를 내보내기 전에 현재 권한 버전을 확인하고, 확인할 수 없으면 전송을 멈춥니다. 변경 확정과 청크 전송 허가를 같은 권한 게이트에서 순서대로 처리해 확인 직후의 경쟁 조건을 막습니다. 결과는 revoked로 감사 기록에 남기고 화면은 미완성 초안을 폐기합니다. 이미 전달된 토큰은 회수할 수 없으므로 이 동작은 이후 전송을 차단하는 계약입니다.

GPU는 평균이 아니라 피크의 대기열로 설계합니다

설계 입력은 분당 180건입니다. 이를 초당 3건으로 환산해도 모든 요청이 동시에 생성되는 것은 아닙니다. 그러나 긴 문맥과 700토큰 출력이 겹치면 KV 캐시와 요청 대기가 늘어납니다. 모델 크기, 양자화 방식, 문맥 길이, 동시 시퀀스 수를 고정한 뒤 대표 질문으로 측정합니다. vLLM은 TTFT, inter-token latency, KV-cache 관련 메트릭을 제공합니다. 메트릭 문서의 명칭을 관측 계약에 그대로 사용합니다.

승인 대상은 특정 GPU 이름이 아닙니다. 동시 30건과 입력·출력 예산에서 대기, 생성, 오류가 어떤 분포를 보이는지입니다. 양자화는 메모리 절약 방법 중 하나이며 모델과 백엔드 호환성, 과업 품질을 다시 평가합니다. 지원되는 백엔드는 vLLM 양자화 문서로 확인합니다.

초기 부하 시험 매트릭스
축값기록할 항목
동시 생성10, 20, 30TTFT p50/p95, 대기 시간
문맥 길이2,000 / 4,000 / 6,800 토큰KV 캐시 사용량, 오류
출력 상한250 / 700 토큰inter-token p50/p95, 취소율
배치 정책동적 배치 켜기/끄기처리량과 첫 응답의 변화

대기열·마감·취소는 API 계약입니다

분당 180건은 초당 3건의 offered load입니다. 30개 활성 슬롯으로 이 도착률을 계속 처리하려면 평균 활성 시간이 10초보다 짧아야 여유가 생깁니다. 10초는 30÷3으로 계산한 포화 경계입니다. 대기열은 짧은 버스트를 흡수할 뿐 지속 처리량을 늘리지 않습니다. 6,800토큰 문맥과 700토큰 출력에서 가능한 활성 시간은 부하 시험으로 확인합니다. 따라서 30건은 GPU 용량 주장이 아니라 admission 상한입니다. 대표 프롬프트와 동시성으로 벤치마크한 뒤 활성 시간, 대기, 거절률을 다시 정합니다.

초기 정책은 조직당 활성 3건, 전체 활성 30건, 전체 대기 36건입니다. 대기열까지 찼거나 조직 한도를 넘으면 Retry-After를 포함한 429를 반환합니다. 상담원은 기다리는 대신 별도 업무 검토 큐로 넘길 수 있으며, 이 큐를 GPU 실행 대기열과 섞지 않습니다. 생성 시작 전 대기 마감은 12초, 생성 경로 전체 마감은 45초로 둡니다. 브라우저 연결이 끊기면 스트림을 취소하고, 이미 생성한 토큰을 다음 요청의 문맥으로 재사용하지 않습니다. 작업자 장애에는 재시도 키를 사용하되 사용자에게 답변을 중복 전송하지 않습니다.

평가는 모델 점수와 업무 결정을 분리합니다

평가 세트는 총 600건으로 시작합니다. 조직마다 허용된 문서만 답의 근거가 되는 질문 200건, 권한이 다른 문서를 유도하는 질문 200건, 근거가 없어 보류해야 하는 질문 200건입니다. 정답 문장 하나를 강요하기보다 인용의 적합성, 보류 결정, 형식 준수, 사람 검토자의 수정량을 기록합니다. 평가 데이터에는 실제 고객 정보 대신 승인된 샘플 또는 익명화된 자료를 사용합니다.

단계별 수용 기준
단계수용 확인다음 단계 조건
폐쇄 평가권한 위반 0건을 표본에서 확인검색·생성 로그 검토 완료
내부 파일럿review와 handoff가 UI에서 구분됨담당자 피드백 분류 가능
조직 제한 출시한도·마감·취소 이벤트가 관측됨롤백 절차 리허설 완료
확대 검토대표 트래픽에서 지표를 다시 측정용량·모델 변경안 승인

남기는 산출물

요청 상태 전이, ACL 속성, 문서 수명주기, API 오류 형식, 프롬프트와 인용 형식, 부하 시험 결과를 하나의 설계 패키지로 남깁니다. 운영자는 어떤 조직이 어떤 모델·인덱스 버전으로 답을 받았는지 확인할 수 있어야 합니다. 모델 변경은 평가 세트와 트래픽 조건을 다시 통과하는 배포 후보로 취급합니다.

  • 검색 필터와 역할 매핑 명세
  • ingestion 작업과 재처리·삭제 절차
  • 대기열, 마감, 취소, 오류 응답 계약
  • 측정 대시보드 항목과 부하 시험 기록
  • 모델·프롬프트·인덱스 버전 변경 기록

단계적 출시와 운영 문의

먼저 내부 문서와 제한된 역할로 폐쇄 평가를 진행합니다. 이후 선택한 조직에서 초안만 보이게 하고, 답변 전송은 사람 검토를 유지합니다. 관측 항목이 쌓이면 조직 수와 동시 한도를 한 단계씩 늘립니다. 권한 위반 의심, 인용 누락, 오류율 급증은 즉시 생성 경로를 끄고 검색 결과와 이관 흐름만 남기는 롤백 규칙으로 둡니다.

문의에는 조직 구조, 역할 표, 문서 저장소와 삭제 규칙, 대표 질문·좋은 답·나쁜 답, 피크 시간대의 예상 요청을 보내 주세요. GPU 사양보다 먼저 이 입력을 받아야 평가 매트릭스와 요청 한도를 정할 수 있습니다.

초기 운영 회의에서는 한 요청을 끝까지 따라갑니다. 어떤 역할의 사용자가 어떤 문서를 바탕으로 질문했는지, 어떤 필터가 적용됐는지, 검색 후보 중 무엇이 선택됐는지, 모델이 언제 취소됐는지를 요청 ID 하나로 확인합니다. 이 경로가 보이지 않으면 품질 문제와 권한 문제, 용량 문제를 구분할 수 없습니다. 감사 기록은 원문 전체를 무분별하게 복제하는 저장소가 아니라 판단에 필요한 식별자와 버전, 정책 결과를 남기는 장부로 설계합니다.

트래픽 확대 전에는 비정상 경로도 시험합니다. 인덱싱이 지연된 새 문서, 삭제 처리 중인 문서, 역할이 바뀐 세션, 연결이 끊긴 스트림, 대기열 한도를 넘은 조직을 각각 재현합니다. 기대하는 결과는 더 많은 답변이 아닙니다. 허용되지 않은 문서가 생성 문맥에 들어가지 않고, 사용자와 운영자가 다음 행동을 알 수 있는 상태로 끝나는지입니다.

관측 항목도 요청 수 하나로 끝내지 않습니다. 조직별 대기열 길이, 취소 원인, 검색 후보 수, 필터 뒤 남은 후보 수, 인용이 붙은 응답 비율, review와 handoff 비율을 함께 봅니다. 이 조합은 모델이 느린 경우와 검색이 비어 있는 경우, 특정 조직이 전체 용량을 점유하는 경우를 서로 다른 운영 문제로 분리합니다. 지표에 개인정보나 문서 본문을 넣지 않고 식별자와 집계값으로 남기는 기준도 명세에 포함합니다.

변경 관리는 모델 파일만 바꾸는 작업이 아닙니다. 임베딩 모델, 분할 규칙, 재순위 기준, 프롬프트 형식, 안전 정책 중 하나가 바뀌면 검색 결과와 생성 결과가 함께 달라질 수 있습니다. 따라서 배포 후보에는 변경 목록, 평가 세트 결과, 제한 조직의 관측 기간, 이전 버전으로 되돌리는 조건을 붙입니다. 운영자가 어떤 조합에서 답변이 만들어졌는지 추적할 수 있어야 사고를 재현하고 수정할 수 있습니다.

참고 자료