왜 인덱싱 비용이 문제가 되는가

검색·RAG 파이프라인에서 임베딩 비용은 두 축에서 발생한다. 하나는 문서를 벡터로 변환하는 인덱싱(배치) 비용, 다른 하나는 매 쿼리마다 발생하는 추론 비용이다. 수천만 개의 문서를 다루면 인덱싱은 GPU 시간을, 저장·검색은 벡터 차원에 비례한 메모리를 잡아먹는다. 1024차원 float32 벡터 1천만 개면 약 40GB다. 재인덱싱을 분기마다 반복한다면 이 비용은 고정비가 아니라 반복비가 된다.

큰 임베딩 모델(예: 7B 기반)은 품질은 좋지만 문서당 지연이 크고 처리량이 낮다. 반대로 작은 모델은 빠르지만 검색 품질이 떨어진다. 증류(distillation)는 이 둘 사이에서 타협점을 만든다.

증류의 기본 아이디어

교사(teacher) 모델의 임베딩 공간을 학생(student) 모델이 모방하도록 학습시킨다. 핵심은 라벨이 아니라 교사의 출력 벡터 자체를 정답으로 쓴다는 점이다. 두 가지 신호를 함께 쓰면 안정적이다.

  • 표현 정렬: 학생 벡터를 교사 벡터에 코사인/MSE로 근접시킨다.
  • 순위 보존: 배치 내 쌍의 유사도 분포(교사)를 학생이 KL로 따라가게 한다. 절대값보다 상대적 순서가 검색 품질을 좌우하기 때문이다.

학습 코드 예시

import torch, torch.nn.functional as F

def distill_loss(student_emb, teacher_emb, tau=0.05, alpha=0.5):
    s = F.normalize(student_emb, dim=-1)
    t = F.normalize(teacher_emb, dim=-1)

    # 1) 표현 정렬: 학생-교사 벡터 직접 근접
    align = (1 - (s * t).sum(-1)).mean()

    # 2) 순위 보존: 배치 내 유사도 분포를 KL로 정렬
    s_sim = (s @ s.t()) / tau
    t_sim = (t @ t.t()) / tau
    rank = F.kl_div(
        F.log_softmax(s_sim, dim=-1),
        F.softmax(t_sim, dim=-1),
        reduction="batchmean",
    )
    return alpha * align + (1 - alpha) * rank

교사 벡터는 사전에 한 번만 계산해 캐시하면 학습 중 교사 추론을 반복하지 않아도 된다. 도메인 코퍼스에서 샘플링한 무라벨 문서만으로 충분하다.

차원 축소를 함께 적용한다

학생 모델을 작게 만드는 것에 더해 출력 차원 자체를 줄이면 저장·검색 비용이 직접 절감된다. Matryoshka 방식처럼 앞쪽 차원에 정보를 몰아넣도록 학습하면, 1024차원으로 학습한 뒤 256차원만 잘라 써도 품질 손실을 억제할 수 있다.

# 여러 절단 차원에서 손실을 동시에 최적화
dims = [768, 512, 256, 128]
loss = 0.0
for d in dims:
    loss += distill_loss(student_emb[:, :d], teacher_emb[:, :d])
loss = loss / len(dims)
loss.backward()

비용·품질 비교

구성차원상대 처리량10M 벡터 메모리nDCG@10(상대)
교사(대형)10241.0x~40GB1.00
학생(증류)10244x~6x~40GB0.98
학생+차원축소2564x~6x~10GB0.96

수치는 도메인·데이터에 따라 달라지므로 반드시 자체 평가셋으로 검증한다.

배포와 재인덱싱 시 주의점

가장 흔한 사고는 모델 버전 불일치다. 쿼리 임베딩과 인덱스 임베딩은 반드시 동일 모델·동일 차원·동일 정규화로 생성해야 한다. 모델을 교체하면 인덱스도 전량 재생성해야 하므로, 벡터마다 모델 버전을 메타데이터로 남겨 무중단 재인덱싱과 롤백을 준비한다.

-- 벡터에 모델 버전을 기록해 혼용을 차단
ALTER TABLE doc_vectors ADD COLUMN model_ver TEXT NOT NULL;
CREATE INDEX idx_model_ver ON doc_vectors(model_ver);

-- 재인덱싱 진행 중에는 쿼리도 같은 버전으로 필터링
SELECT id FROM doc_vectors
WHERE model_ver = 'student-v2-256'
ORDER BY embedding <=> :query_vec
LIMIT 20;

검증 체크리스트

  • 도메인 실제 쿼리로 만든 평가셋에서 nDCG·Recall을 교사 대비 측정한다.
  • 차원 절단 후 품질 하락이 급격해지는 지점을 찾아 최소 안전 차원을 정한다.
  • 양자화(int8, PQ)를 추가로 얹을 경우 증류 품질 위에서 별도로 손실을 재측정한다.
  • 인덱싱 처리량·지연·GPU 사용률을 배포 전후로 기록해 절감 효과를 수치로 남긴다.

정리하면, 증류는 학생 모델의 속도·처리량 개선과 차원 축소의 저장·검색 절감을 결합할 때 효과가 가장 크다. 다만 절감 폭은 항상 자체 평가셋 위에서 확인하고, 모델 버전 관리로 혼용 사고를 막는 것이 실무의 핵심이다.