왜 KV 캐시가 배치 크기를 제한하는가

LLM 추론에서 GPU 메모리는 크게 세 부분으로 나뉜다. 모델 가중치, 활성값, 그리고 KV 캐시다. 이 중 배치 크기와 시퀀스 길이에 비례해 선형적으로 커지는 것이 KV 캐시다. 가중치는 요청 수와 무관하게 고정이지만, KV 캐시는 동시 처리 요청이 늘수록, 컨텍스트가 길어질수록 폭발적으로 증가한다.

대략적인 KV 캐시 크기는 다음과 같이 추정한다.

KV bytes = 2 (K,V) × layers × heads_kv × head_dim × seq_len × batch × dtype_bytes

# 예: Llama-3 8B, fp16, seq 8192, batch 32
# 2 × 32 × 8 × 128 × 8192 × 32 × 2 = 약 34 GB

모델 가중치가 16GB인 8B 모델을 80GB GPU에 올려도, 위 조건이면 KV 캐시만 34GB를 먹는다. 배치를 64로 늘리면 68GB가 되어 OOM이 난다. 결국 GPU 연산 유닛은 놀고 있는데 메모리가 부족해 배치를 키우지 못하는 상황이 발생한다.

오프로딩의 기본 아이디어

KV 캐시 오프로딩은 당장 계산에 쓰지 않는 KV 블록을 GPU HBM에서 CPU RAM(또는 NVMe)으로 내려놓고, 필요할 때 다시 가져오는 기법이다. 핵심 전제는 두 가지다. 첫째, decode 단계는 메모리 대역폭 바운드라 GPU 연산 여유가 있다. 둘째, CPU RAM은 HBM보다 훨씬 싸고 크다(수백 GB~TB 단위). 놀고 있는 PCIe 대역폭과 여유 연산 시간에 전송을 겹치면(overlap), 배치를 몇 배로 키울 수 있다.

계층 구조와 트레이드오프

저장 위치대역폭(대략)용량지연
GPU HBM2~3 TB/s수십 GB매우 낮음
CPU RAM (PCIe 4.0)~25 GB/s수백 GB~TB중간
NVMe SSD~5 GB/sTB 단위높음

대역폭 차이가 100배에 달하므로, 오프로딩은 "전송을 계산 뒤에 숨길 수 있느냐"가 관건이다. 숨기지 못하면 전송 대기가 그대로 지연으로 노출되어 TPOT(토큰당 생성 시간)가 나빠진다.

vLLM에서의 실전 설정

vLLM은 CPU KV 캐시 스와핑을 기본 지원한다. swap-space로 CPU 측 스왑 공간을, gpu-memory-utilization으로 GPU 예산을 조정한다. 선점(preemption)이 발생하면 재계산 대신 스왑을 쓰도록 설정할 수 있다.

vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --dtype float16 \
  --gpu-memory-utilization 0.90 \
  --swap-space 40 \
  --max-num-seqs 256 \
  --max-num-batched-tokens 8192 \
  --preemption-mode swap

--swap-space 40은 GPU당 40GB의 CPU RAM을 KV 스왑 버퍼로 확보한다는 뜻이다. 요청이 몰려 GPU KV 블록이 부족해지면, 우선순위가 낮은 시퀀스의 블록을 CPU로 내리고 GPU 자리를 확보해 더 많은 요청을 동시에 진행한다.

비동기 전송으로 지연 숨기기

직접 구현하거나 커스텀 백엔드를 만들 때 핵심은 별도 CUDA 스트림에서 non_blocking 복사를 걸고, 다음 레이어 연산과 겹치는 것이다. pinned memory를 써야 전송 대역폭이 제대로 나온다.

import torch

copy_stream = torch.cuda.Stream()

# CPU 측은 반드시 pinned memory로 할당
cpu_kv = torch.empty(shape, dtype=torch.float16, pin_memory=True)

def offload(gpu_block):
    with torch.cuda.stream(copy_stream):
        cpu_kv.copy_(gpu_block, non_blocking=True)

def prefetch(cpu_block, gpu_dst):
    with torch.cuda.stream(copy_stream):
        gpu_dst.copy_(cpu_block, non_blocking=True)
    # 실제 사용 전에 스트림 동기화 지점 배치
    torch.cuda.current_stream().wait_stream(copy_stream)

pinned memory 없이 pageable 메모리를 쓰면 DMA가 불가능해 전송 속도가 절반 이하로 떨어지고 overlap도 깨진다. 이 한 줄이 성능을 좌우한다.

주의점과 실패 패턴

  • PCIe 병목: 배치를 무작정 키우면 매 스텝 전송량이 PCIe 대역폭을 초과한다. seq_len이 길수록 스텝당 재적재량이 커지므로, 롱컨텍스트 워크로드에서는 오프로딩 이득이 급감한다.
  • Prefetch 타이밍: 다음 스텝에 쓸 블록을 미리 못 가져오면 GPU가 전송을 기다리며 멈춘다. lookahead 깊이를 최소 1~2 스텝 확보해야 한다.
  • pinned memory 고갈: pinned 영역은 OS가 페이지 아웃할 수 없어 과도하게 잡으면 시스템 전체가 불안정해진다. swap-space를 물리 RAM 대비 보수적으로 설정한다.
  • 측정 지표: 배치가 커지면 처리량(throughput)은 오르지만 개별 요청의 TPOT는 나빠질 수 있다. SLO가 지연 중심이면 오프로딩 강도를 낮춰야 한다.

정리

KV 캐시 오프로딩은 "메모리가 부족해 연산 유닛이 노는" 전형적 병목을 CPU RAM과 PCIe 대역폭으로 완화하는 기법이다. vLLM 같은 서빙 엔진은 스왑 공간 설정만으로 즉시 적용 가능하며, 직접 구현 시에는 pinned memory와 비동기 스트림 overlap이 성패를 가른다. 처리량 지향 배치 워크로드에서 효과가 크고, 롱컨텍스트·저지연 요구가 강한 경우에는 전송 비용을 반드시 벤치마크로 확인한 뒤 강도를 조절해야 한다.