왜 랭크가 문제인가
LoRA는 원본 가중치 W를 얼리고 저랭크 행렬 두 개(A, B)만 학습한다. 추가 파라미터 수는 대략 r × (d_in + d_out) × 적용 레이어 수로 결정되며, 여기서 r이 랭크다. r을 키우면 표현력이 늘어 어려운 태스크의 품질이 오르지만, 옵티마이저 상태(Adam은 파라미터당 2배)까지 포함해 VRAM이 선형으로 증가한다. 반대로 r이 너무 작으면 도메인 특화 지식을 담지 못해 언더피팅이 난다. 즉 랭크는 단순 하이퍼파라미터가 아니라 품질-메모리 예산을 배분하는 손잡이다.
랭크와 알파의 관계
실무에서 자주 틀리는 지점이 lora_alpha다. 실제 스케일은 alpha / r로 적용되므로, r을 8에서 32로 올리면서 alpha를 그대로 두면 유효 학습률이 1/4로 줄어 "랭크를 키웠는데 오히려 안 나오는" 현상이 생긴다. 권장은 alpha를 r에 비례해 조정하거나(예: alpha = 2r), rank-stabilized LoRA(use_rslora=True)로 alpha / sqrt(r) 스케일을 써서 고랭크에서의 불안정을 줄이는 것이다.
기본 설정 예시
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=16,
lora_alpha=32, # alpha = 2r 규칙
use_rslora=True, # alpha/sqrt(r) 스케일로 안정화
lora_dropout=0.05,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj"],
bias="none",
task_type="CAUSAL_LM",
)
model = get_peft_model(base_model, config)
model.print_trainable_parameters()
# trainable params: ~0.6% — 나머지는 동결
target_modules를 attention에만 걸지, MLP까지 걸지가 랭크만큼이나 품질에 영향을 준다. 지식 주입성 태스크는 MLP 포함이 유리하고, 스타일·포맷 정렬은 attention만으로도 충분한 경우가 많다.
랭크별 트레이드오프
| 랭크 r | 추가 VRAM(상대) | 적합 태스크 | 리스크 |
|---|---|---|---|
| 4~8 | 낮음 | 포맷/톤 정렬, 간단 분류 | 복잡한 추론 언더핏 |
| 16~32 | 중간 | 도메인 QA, 일반 SFT | alpha 미조정 시 학습률 왜곡 |
| 64~128 | 높음 | 다국어·코드 등 대용량 주입 | 과적합, 수렴 불안정 |
대부분의 SFT는 r=16~32에서 품질/메모리 균형점이 나온다. 무작정 128로 올리기 전에, 데이터가 그만큼의 표현력을 채울 만큼 충분한지부터 확인해야 한다.
메모리를 더 짜내는 법
랭크를 낮추기 전에 다른 축부터 조정하는 편이 품질 손실이 적다. 4비트 양자화 위에 LoRA를 얹는 QLoRA, gradient checkpointing, paged optimizer를 조합하면 같은 랭크를 유지하면서도 VRAM을 크게 줄일 수 있다.
# QLoRA + 메모리 절약 옵션 (bitsandbytes)
python train.py \
--load_in_4bit \
--bnb_4bit_quant_type nf4 \
--bnb_4bit_compute_dtype bfloat16 \
--gradient_checkpointing \
--optim paged_adamw_8bit \
--lora_r 32 --lora_alpha 64 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8
순서상 우선순위는 (1) 양자화·8bit 옵티마이저, (2) checkpointing과 accumulation, (3) 그래도 부족하면 랭크 하향이다. 랭크를 마지막에 두는 이유는 품질에 가장 직접적으로 영향을 주는 손잡이이기 때문이다.
튜닝 절차와 검증
랭크 스윕은 감으로 하지 말고 고정 검증셋에서 비교한다. r ∈ {8, 16, 32}를 같은 스텝 수, 같은 유효 학습률로 돌리고 검증 손실과 태스크 지표를 함께 본다. 학습 손실은 떨어지는데 검증이 정체되면 r 과다 또는 데이터 부족 신호다.
import itertools
for r in [8, 16, 32]:
alpha = 2 * r # 유효 스케일 고정
run(config=dict(r=r, lora_alpha=alpha, use_rslora=True))
# 로그: eval_loss, 태스크 metric, peak_vram 를 한 표로 수집
주의점
몇 가지 함정이 있다. 첫째, r을 바꿀 때 alpha를 함께 조정하지 않으면 실험이 오염된다. 둘째, 어댑터를 원본에 merge하면 4비트 양자화 기반에서는 정밀도 손실이 생기므로, 배포 정밀도를 사전에 정해야 한다. 셋째, 여러 어댑터를 스위칭해 쓸 계획이면 merge 대신 어댑터를 분리 보관하는 편이 운영상 유연하다. 마지막으로 검증 지표 없이 랭크만 키우는 것은 메모리 낭비이므로, 항상 동일 조건 비교로 근거를 남겨야 한다.