왜 한 GPU에서 프리필과 디코드를 섞으면 문제가 되는가
LLM 추론은 성격이 완전히 다른 두 단계로 나뉜다. 프리필(prefill)은 입력 프롬프트 전체를 한 번에 처리해 KV 캐시를 만드는 단계로, 연산량이 많은 compute-bound 작업이다. 디코드(decode)는 토큰을 하나씩 생성하며 매 스텝 KV 캐시를 읽는 memory-bandwidth-bound 작업이다.
둘을 같은 GPU에서 연속 배칭으로 섞으면 서로를 방해한다. 긴 프롬프트의 프리필이 도는 동안 이미 생성 중이던 디코드 요청들이 밀리면서 토큰 간 지연(ITL, inter-token latency)이 튄다. 반대로 디코드를 우선하면 첫 토큰 지연(TTFT)이 늘어난다. 하나의 스케줄러로 두 SLO를 동시에 만족시키기 어렵다.
분리 서빙의 핵심 아이디어
프리필 전용 인스턴스와 디코드 전용 인스턴스를 물리적으로 나눈다. 프리필 노드가 KV 캐시를 생성하면 그 캐시를 디코드 노드로 전송하고, 이후 토큰 생성은 디코드 노드가 전담한다. 이렇게 하면 각 단계를 독립적으로 스케줄링·스케일링할 수 있다.
| 구분 | 프리필 노드 | 디코드 노드 |
|---|---|---|
| 병목 | 연산(compute) | 메모리 대역폭 |
| 배치 특성 | 큰 배치 비효율, 작게 | 큰 배치로 처리량 확보 |
| 주요 SLO | TTFT | ITL |
| 스케일 기준 | 입력 토큰/초 | 동시 생성 요청 수 |
KV 캐시 전송이 관건이다
분리 구조의 성패는 KV 캐시를 얼마나 빨리 옮기느냐에 달려 있다. 노드 간에는 NVLink가 없으므로 보통 RDMA(InfiniBand/RoCE) 또는 NVSHMEM 기반 전송을 쓴다. 캐시 크기는 2 × layers × kv_heads × head_dim × seq_len × dtype로 계산되며, 레이어 단위로 파이프라인 전송하면 디코드 시작 전 전체 전송이 끝나기를 기다릴 필요가 없다.
def kv_cache_bytes(layers, kv_heads, head_dim, seq_len, dtype_bytes=2):
# key와 value 두 텐서이므로 x2
per_token = 2 * layers * kv_heads * head_dim * dtype_bytes
return per_token * seq_len
# 예: 32L, 8 KV heads, head_dim 128, 2048 토큰, bf16
mb = kv_cache_bytes(32, 8, 128, 2048) / 1024**2
print(f"{mb:.1f} MB") # 약 256 MB → 100Gbps 링크에서 ~20ms
vLLM 기반 배포 예시
vLLM은 kv_transfer_config로 분리 서빙을 지원한다. 프리필과 디코드 역할을 각각 지정하고, 그 앞에 라우터를 두어 요청을 프리필 → 디코드 순으로 흘려보낸다.
# prefill 인스턴스
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--port 8100 --gpu-memory-utilization 0.9 \
--kv-transfer-config '{"kv_connector":"PyNcclConnector",
"kv_role":"kv_producer","kv_rank":0,"kv_parallel_size":2}'
# decode 인스턴스
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--port 8200 --gpu-memory-utilization 0.9 \
--kv-transfer-config '{"kv_connector":"PyNcclConnector",
"kv_role":"kv_consumer","kv_rank":1,"kv_parallel_size":2}'
운영에서는 이 두 프로세스를 서로 다른 GPU 노드에 배치하고, 프리필/디코드 비율을 트래픽에 맞춰 조정한다. 입력이 긴 워크로드(RAG, 문서 요약)는 프리필 노드를 더 늘리고, 긴 출력 위주면 디코드 노드를 늘린다.
언제 도입할 가치가 있는가
분리 서빙은 공짜가 아니다. 노드 간 전송 지연과 인프라 복잡도가 추가된다. 다음 조건에서 이득이 크다.
- TTFT와 ITL을 별도 SLO로 관리해야 하는 서비스
- 입력 길이 편차가 커서 긴 프롬프트가 디코드를 자주 방해하는 경우
- 고대역폭 인터커넥트(InfiniBand 200Gbps+ 등)를 이미 갖춘 클러스터
반대로 소규모 트래픽이거나 프롬프트가 짧고 균일하면, 연속 배칭 단일 인스턴스가 운영 부담 대비 더 낫다.
도입 시 주의점
첫째, 네트워크가 느리면 전송 지연이 프리필 절감 효과를 잡아먹는다. 100Gbps 미만 이더넷에서는 이득을 보기 어렵다. 둘째, 프리필/디코드 비율이 트래픽과 맞지 않으면 한쪽이 놀거나 병목이 된다 — 큐 길이와 GPU 사용률을 함께 모니터링해 오토스케일 기준으로 삼아야 한다. 셋째, KV 캐시 dtype·레이아웃이 두 인스턴스에서 정확히 일치해야 하며, 텐서 병렬 크기가 다르면 재배치 로직이 필요하다. 마지막으로 라우터가 단일 장애점이 되지 않도록 상태를 최소화하고 이중화한다.
정리하면, 분리 서빙은 '두 개의 다른 문제를 하나의 스케줄러로 풀던' 구조적 모순을 물리적 분리로 해소하는 방법이다. 인터커넥트 대역폭과 트래픽 특성이 받쳐줄 때 TTFT·ITL을 각각 안정적으로 지킬 수 있다.