왜 부하 불균형이 문제인가

MoE(Mixture of Experts)는 토큰마다 상위 k개 전문가만 활성화해 연산량을 줄인다. 그러나 게이팅 네트워크가 특정 전문가에 토큰을 몰아주면 문제가 생긴다. 인기 전문가는 용량(capacity)을 초과해 토큰을 버리고(token drop), 나머지 전문가는 놀면서 파라미터가 학습되지 않는다. 분산 학습에서는 전문가가 GPU에 나뉘어 배치되므로, 특정 전문가가 몰린 GPU만 병목이 되어 전체 스텝 시간이 그 GPU에 묶인다. 결과적으로 처리량은 떨어지고 품질은 정체된다.

불균형을 수치로 진단하기

튜닝 전에 반드시 측정한다. 핵심 지표는 전문가별 토큰 분포의 변동계수(CV), 그리고 용량 초과로 버려진 토큰 비율이다. 라우팅 로짓에서 argmax 분포를 뽑아 계산한다.

import torch

def routing_stats(router_logits, num_experts, capacity):
    # router_logits: [num_tokens, num_experts]
    probs = router_logits.softmax(dim=-1)
    top1 = probs.argmax(dim=-1)
    counts = torch.bincount(top1, minlength=num_experts).float()

    mean = counts.mean()
    cv = counts.std() / (mean + 1e-9)          # 0에 가까울수록 균형
    ideal = router_logits.size(0) / num_experts
    dropped = (counts - capacity).clamp(min=0).sum()
    drop_rate = dropped / router_logits.size(0)

    return {"cv": cv.item(),
            "drop_rate": drop_rate.item(),
            "max_over_ideal": (counts.max() / ideal).item()}

CV가 0.3을 넘거나 drop_rate가 1%를 넘으면 개입이 필요하다는 신호다.

보조 손실로 균형 유도하기

가장 표준적인 해법은 load balancing loss다. Switch Transformer 방식은 전문가별 라우팅 확률 평균과 실제 할당 비율의 곱을 합산해 페널티를 준다. 특정 전문가로 확률이 몰리면 손실이 커져 게이팅이 분산되도록 학습된다.

def load_balancing_loss(router_probs, expert_mask, num_experts):
    # router_probs: [T, E] softmax 확률
    # expert_mask:  [T, E] top-k 선택된 위치 1
    f = expert_mask.float().mean(dim=0)   # 실제 할당 비율
    P = router_probs.mean(dim=0)          # 평균 라우팅 확률
    return num_experts * (f * P).sum()

# 총 손실에 계수를 곱해 더한다 (보통 0.01)
loss = task_loss + 0.01 * lb_loss

계수가 너무 크면 균형은 잡히지만 게이팅이 획일화되어 전문화가 약해진다. 0.001~0.01 범위에서 CV를 보며 조정한다.

용량 계수와 토큰 드롭 조율

capacity factor는 전문가 하나가 받을 수 있는 토큰 상한을 결정한다. 상한 = (토큰 수 / 전문가 수) × capacity_factor. 값이 낮으면 메모리는 아끼지만 드롭이 늘고, 높으면 드롭은 줄지만 패딩 연산이 낭비된다.

capacity_factor메모리토큰 드롭권장 상황
1.0낮음높음추론, 균형이 좋을 때
1.25보통보통일반 학습 기본값
2.0높음낮음초기 학습, 불안정할 때

학습 초기에는 라우팅이 불안정하므로 높게 시작해 안정되면 낮추는 전략이 유효하다.

분산 환경 설정 예시

DeepSpeed-MoE 계열에서 자주 쓰는 설정이다. expert parallel degree와 보조 손실 계수를 함께 명시한다.

moe:
  num_experts: 64
  top_k: 2
  capacity_factor: 1.25
  eval_capacity_factor: 2.0     # 추론은 드롭 최소화
  load_balance_loss_coef: 0.01
  expert_parallel_size: 8       # 전문가를 8-way 분산
  use_residual: true            # 드롭된 토큰 우회 경로

use_residual를 켜면 용량 초과로 버려진 토큰이 공유 경로로 처리되어 품질 급락을 완화한다.

실무 주의점

  • 불균형은 학습 초반 수백 스텝에서 굳어지는 경우가 많다. 초기 워밍업 동안 지표를 집중 모니터링한다.
  • 보조 손실만 과신하지 말 것. 계수를 키우면 CV는 좋아지지만 다운스트림 성능이 떨어질 수 있어 항상 검증 손실과 함께 본다.
  • expert parallel에서는 all-to-all 통신이 병목이다. 균형이 잡혀도 통신 대역폭이 부족하면 처리량이 안 오른다.
  • 추론과 학습의 capacity factor를 분리하라. 추론에서 드롭은 곧 품질 저하로 직결된다.

결국 튜닝의 핵심은 CV·drop_rate를 상시 측정하고, 보조 손실 계수와 capacity factor를 서로 반대 방향으로 밀어가며 균형점을 찾는 반복 과정이다.