왜 콜드스타트가 문제인가

모델 서빙에서 오토스케일은 트래픽에 맞춰 파드를 늘리고 줄여 비용을 아끼는 기본 전략이다. 그런데 웹 API와 달리 모델 파드는 기동이 느리다. 컨테이너 풀링, 수 GB짜리 가중치 로드, GPU 초기화, CUDA 컨텍스트 생성, 워밍업 추론까지 더하면 새 파드가 트래픽을 받기까지 수십 초에서 수 분이 걸린다. 이 구간이 콜드스타트다.

문제는 스케일아웃이 발동하는 시점이 이미 트래픽이 몰린 뒤라는 점이다. HPA가 부하를 감지 → 파드 생성 → 모델 로드가 끝날 때쯤이면 앞단의 요청은 큐에 쌓이거나 타임아웃된다. p99 지연이 튀고, 최악의 경우 헬스체크 실패로 롤링 재시작이 겹쳐 상황이 악화된다.

콜드스타트를 구성하는 지연 요소

완화 전략을 세우려면 지연을 단계별로 분해해야 한다. 각 단계는 서로 다른 방법으로 줄인다.

단계대표 지연완화 방향
이미지 풀10~60초노드 프리풀, 레이어 캐시
가중치 로드5~120초로컬 캐시, mmap, 샤딩 병렬 로드
GPU/CUDA 초기화3~20초베이스 이미지 고정, lazy 비활성
워밍업 추론1~10초기동 시 더미 배치 1회 실행

가장 확실한 방법: 최소 웜 파드 유지

이론적으로 가장 단순하고 실무에서 가장 효과적인 방법은 "항상 준비된 여분"을 두는 것이다. HPA의 minReplicas를 0이나 1이 아니라 평소 피크의 일정 비율로 잡고, 급증 구간은 스케일아웃이 따라오게 한다. 스케일다운은 천천히, 스케일업은 빠르게 하는 비대칭 정책이 핵심이다.

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: llm-serve
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: llm-serve
  minReplicas: 3          # 콜드스타트를 흡수할 상시 여분
  maxReplicas: 30
  metrics:
    - type: Pods
      pods:
        metric:
          name: inflight_requests   # 큐 길이 기반이 CPU보다 정확
        target:
          type: AverageValue
          averageValue: "8"
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 0     # 즉시 확장
      policies:
        - type: Percent
          value: 100
          periodSeconds: 15
    scaleDown:
      stabilizationWindowSeconds: 300   # 천천히 축소해 재기동 방지
      policies:
        - type: Pods
          value: 1
          periodSeconds: 60

스케일 지표로 CPU 사용률보다 inflight_requests나 큐 길이를 쓰는 편이 낫다. GPU 추론은 CPU가 놀아도 GPU가 포화되므로 CPU 기반 HPA는 신호가 늦다.

기동 시간 자체를 줄이기

여분 파드를 두더라도 스케일아웃이 빠를수록 여분을 적게 둘 수 있다. 가장 큰 지연인 가중치 로드는 노드 로컬 캐시와 병렬 로드로 줄인다. 아래는 기동 시 캐시를 확인하고 워밍업까지 수행하는 예시다.

import os, torch, time
from pathlib import Path

CACHE = Path("/mnt/local-ssd/models/llm")  # 노드 로컬 SSD

def load_model():
    t0 = time.time()
    # 네트워크 스토리지 대신 로컬 캐시 우선
    src = CACHE if CACHE.exists() else Path("/nfs/models/llm")
    model = torch.load(src / "weights.pt", map_location="cuda", mmap=True)
    model.eval()
    # 워밍업: 실제 형태의 더미 입력으로 커널 컴파일/캐시를 미리 채운다
    with torch.inference_mode():
        dummy = torch.zeros(1, 512, dtype=torch.long, device="cuda")
        model(dummy)
    torch.cuda.synchronize()
    print(f"ready in {time.time()-t0:.1f}s")
    return model

워밍업을 생략하면 첫 실요청이 커널 컴파일을 떠안아 수 초가 튄다. 기동 로직에서 더미 추론을 한 번 돌려 이 비용을 준비 구간으로 옮겨야 한다.

readiness와 startup 프로브 분리

흔한 실수는 모델 로드가 끝나기 전에 파드가 Ready로 표시되어 트래픽을 받는 것이다. startupProbe로 로드 완료까지 충분한 시간을 주고, readinessProbe는 워밍업까지 끝난 뒤 통과하도록 엔드포인트를 나눈다. 그래야 로드 중인 파드로 요청이 라우팅되지 않는다.

startupProbe:
  httpGet: { path: /healthz/started, port: 8080 }
  failureThreshold: 60      # 60 x 5s = 최대 5분 로드 허용
  periodSeconds: 5
readinessProbe:
  httpGet: { path: /healthz/ready, port: 8080 }  # 워밍업 후 200
  periodSeconds: 5

선제 스케일링과 이미지 프리풀

사후 반응만으로는 급증을 못 따라간다. 트래픽 패턴이 규칙적이라면 시간 기반 예약 스케일(KEDA cron 스케일러 등)로 피크 전에 미리 파드를 띄운다. 또 노드에 미리 이미지를 당겨두면 새 파드의 풀 지연을 없앨 수 있다. GPU 노드 자체의 프로비저닝이 느린 환경에서는 노드 오토스케일러의 여유 노드(overprovisioning)로 낮은 우선순위 더미 파드를 두었다가, 실 파드가 뜰 때 밀어내는 패턴도 유효하다.

주의점

첫째, 여분 파드는 비용이다. GPU는 특히 비싸므로 상시 여분 수는 실제 콜드스타트 시간과 트래픽 변동폭을 측정해 정해야 한다. 감으로 잡지 말고 스케일아웃 소요 시간(생성→Ready)을 대시보드로 계측하라.

둘째, 스케일다운을 공격적으로 하면 파드가 줄자마자 다시 늘어나는 플래핑이 생기고, 그때마다 콜드스타트가 재발한다. stabilizationWindowSeconds를 넉넉히 두는 편이 안전하다.

셋째, 노드 로컬 캐시는 노드가 교체되면 사라진다. 스팟 인스턴스처럼 노드 수명이 짧은 환경에서는 캐시 히트율이 낮을 수 있으니, 이미지에 가중치를 함께 담거나 지역 캐시 레이어를 별도로 둘지 검토해야 한다.