왜 커널 런치가 병목이 되는가

추론 워크로드가 작은 커널 수백 개로 쪼개져 있을 때, GPU 연산 자체보다 CPU에서 커널을 큐에 넣는 비용이 더 커지는 구간이 생긴다. 커널 하나를 런치하는 데 드는 CPU 오버헤드는 대략 수 마이크로초 단위지만, LLM 디코딩처럼 배치 크기가 1이고 커널이 잘게 나뉜 경우 개별 커널의 실제 실행 시간도 그만큼 짧다. 결과적으로 GPU가 다음 커널을 기다리며 노는 launch-bound 상태가 된다.

이 문제는 프로파일러의 타임라인에서 커널 사이에 규칙적인 빈틈(gap)으로 나타난다. 빈틈이 커널 실행 폭과 비슷하다면 런치 오버헤드가 지배적이라는 신호다.

CUDA 그래프의 핵심 아이디어

CUDA 그래프는 여러 커널 런치와 메모리 연산을 하나의 그래프로 캡처(capture)한 뒤, 이후에는 그래프 전체를 단일 런치로 재생(replay)한다. 즉, N개의 커널을 N번 큐잉하는 대신 한 번의 API 호출로 GPU에 통째로 제출한다. CPU 측 오버헤드가 커널 개수에 비례하지 않고 그래프 개수에 비례하도록 바뀐다.

단, 캡처된 그래프는 커널 순서·인자·메모리 주소가 고정된다. 따라서 반복 구간의 shape가 일정해야 하고, 입출력 텐서는 고정된 버퍼를 in-place로 갱신하는 패턴이 필요하다.

PyTorch에서 캡처하고 재생하기

PyTorch는 torch.cuda.CUDAGraph로 저수준 캡처를 제공한다. 캡처 전에 몇 번 워밍업을 돌려 cuBLAS 등의 지연 초기화를 끝내는 것이 중요하다.

import torch

static_in = torch.zeros(1, 512, device="cuda")
model = build_model().cuda().eval()

# 1) 워밍업 (별도 스트림에서 초기화 유발)
s = torch.cuda.Stream()
s.wait_stream(torch.cuda.current_stream())
with torch.cuda.stream(s):
    for _ in range(3):
        static_out = model(static_in)
torch.cuda.current_stream().wait_stream(s)

# 2) 캡처
g = torch.cuda.CUDAGraph()
with torch.cuda.graph(g):
    static_out = model(static_in)

# 3) 재생 — 입력 버퍼를 in-place로 갱신 후 replay
def infer(x):
    static_in.copy_(x)      # 같은 메모리 주소 유지
    g.replay()
    return static_out.clone()

static_in과 static_out은 캡처 시점의 주소가 그대로 재사용된다. 새 텐서를 만들어 넘기면 그래프는 여전히 옛 주소를 읽으므로 결과가 어긋난다.

한 줄로 적용하는 방법

모델 전체를 감싸는 경우 make_graphed_callables가 워밍업·캡처·버퍼 관리를 자동화한다. 동적 제어 흐름이 없는 정적 서브그래프에 적합하다.

from torch.cuda import make_graphed_callables

sample = torch.zeros(1, 512, device="cuda")
graphed = make_graphed_callables(model, (sample,))

for x in loader:
    y = graphed(x)   # 내부적으로 그래프 재생

효과가 나는 조건과 아닌 조건

상황CUDA 그래프 효과
작은 커널 다수, 고정 shape (LLM 디코딩)큼
커널당 실행 시간이 긴 대형 배치미미
매 스텝 shape가 변함shape별 그래프 필요, 효과 제한
CPU 분기·동적 제어 흐름 포함캡처 불가 구간 분리 필요

주의점 체크리스트

  • 고정 주소: 입출력은 반드시 정적 버퍼를 in-place로 갱신한다. 재할당 금지.
  • 가변 shape: 시퀀스 길이별로 그래프를 따로 캡처하거나 최대 길이로 패딩한다.
  • 메모리 풀: 그래프는 캡처 시 할당된 메모리를 붙잡는다. 여러 그래프를 쓰면 풀을 공유(pool 인자)해 중복 점유를 줄인다.
  • 난수·CPU 동기화: 캡처 중 .item(), print, 호스트-디바이스 동기화가 들어가면 캡처가 깨진다.
  • RNG: dropout 등은 캡처 세이프한 RNG 상태 관리가 필요하므로 추론에서는 eval 모드로 비활성화한다.

검증 방법

적용 후에는 그래프 버전과 일반 버전의 출력이 수치적으로 일치하는지 먼저 확인하고, 그다음 프로파일러로 커널 간 빈틈이 줄었는지 본다.

import torch

# 정확성: 그래프 vs eager 비교
x = torch.randn(1, 512, device="cuda")
torch.testing.assert_close(infer(x), model(x), rtol=1e-3, atol=1e-3)

# 처리량: 동기화 포함 벤치마크
torch.cuda.synchronize()
start = torch.cuda.Event(enable_timing=True)
end = torch.cuda.Event(enable_timing=True)
start.record()
for _ in range(1000):
    infer(x)
end.record()
torch.cuda.synchronize()
print("avg ms:", start.elapsed_time(end) / 1000)

launch-bound 구간이었다면 스텝당 시간이 눈에 띄게 줄고, GPU 타임라인의 빈틈이 좁혀진다. 반대로 이미 compute-bound였다면 변화가 거의 없으니, 적용 전에 병목이 런치 쪽인지 먼저 판단하는 것이 순서다.