단일 벡터 검색의 한계
대부분의 RAG 파이프라인은 문서 하나를 벡터 하나로 압축하는 밀집 임베딩(bi-encoder)을 쓴다. 구조는 단순하지만 긴 문서나 여러 개념이 섞인 문단을 768차원 하나로 뭉개면 정보 손실이 크다. 특히 질의의 특정 토큰(고유명사, 숫자, 부정어)이 문서 어디에 대응되는지를 표현하지 못해, 키워드는 정확히 일치하는데도 순위가 밀리는 현상이 자주 나온다.
Cross-encoder는 질의·문서를 한 번에 넣어 토큰 단위로 상호작용시키므로 정확하지만, 매 쿼리마다 후보 전체를 재추론해야 해 수백 ms~초 단위로 느리다. ColBERT의 지연 상호작용(late interaction)은 이 둘의 절충점이다.
지연 상호작용의 원리
ColBERT는 문서를 토큰별 벡터 집합으로 인코딩해 미리 저장해 둔다. 검색 시에는 질의도 토큰별 벡터로 만든 뒤, 각 질의 토큰이 문서 토큰 중 가장 유사한 것과 매칭(MaxSim)되고 그 값을 합산해 점수를 낸다.
score(q, d) = Σ_i max_j ( E_q[i] · E_d[j] )
핵심은 무거운 인코딩을 색인 시점에 끝내고, 쿼리 시점에는 값싼 내적·max 연산만 남긴다는 점이다. 그래서 cross-encoder급 세밀함을 유지하면서도 온라인 지연은 크게 낮아진다.
방식 비교
| 방식 | 표현 단위 | 정확도 | 쿼리 지연 | 저장 비용 |
|---|---|---|---|---|
| Bi-encoder | 문서당 1벡터 | 보통 | 매우 낮음 | 낮음 |
| ColBERT | 토큰당 1벡터 | 높음 | 낮음~중간 | 높음 |
| Cross-encoder | 토큰 상호작용 | 매우 높음 | 높음 | 없음(재추론) |
색인과 검색 구현
실무에서는 직접 구현보다 검증된 라이브러리를 쓰는 편이 안정적이다. 아래는 색인 후 검색까지의 최소 흐름이다.
from ragatouille import RAGPretrainedModel
rag = RAGPretrainedModel.from_pretrained("colbert-ir/colbertv2.0")
# 색인: 문서를 토큰 벡터로 인코딩해 저장 (오프라인, 한 번만)
rag.index(
collection=documents, # List[str]
document_ids=doc_ids,
index_name="docs_v1",
max_document_length=256, # 토큰 초과분은 청크 분할
)
# 검색: MaxSim 기반 상위 문서 반환
results = rag.search(query="환불 규정 예외 조항", k=10)
for r in results:
print(r["score"], r["document_id"])
저장 비용을 줄이는 압축
토큰마다 벡터를 저장하므로 인덱스가 bi-encoder보다 수십 배 커질 수 있다. ColBERTv2는 잔차(residual) 압축으로 이를 완화한다. 각 벡터를 중심점(centroid) 인덱스 + 2비트 잔차로 근사해 벡터당 저장량을 크게 낮춘다.
# 압축 강도는 nbits로 조절 (2가 기본, 4는 정확↑·용량↑)
# 프로덕션 색인 시 명시
rag.index(
collection=documents,
document_ids=doc_ids,
index_name="docs_v1",
bits=2, # 2비트 잔차 양자화
kmeans_niters=4, # centroid 학습 반복
)
토큰당 128차원, 2비트 압축이면 벡터 하나가 대략 수십 바이트 수준까지 내려간다. 그래도 원문이 수천만 청크면 전체 용량은 수십 GB가 되므로, 디스크·메모리 예산을 색인 전에 반드시 산정한다.
운영 시 주의점
- 2단계 검색 권장: 대규모에서는 근사 후보 추출(centroid 기반) → 정확한 MaxSim 재랭킹의 2단계로 나눠야 지연이 예측 가능하다. 후보 수(
ncells,ndocs)가 지연·정확도의 주 조절 손잡이다. - 문서 길이 관리:
max_document_length를 넘으면 잘리므로 검색 누락이 생긴다. 긴 문서는 의미 단위 청크로 미리 분할한다. - 도메인 편차: 사전학습 가중치는 일반 도메인 기준이다. 법률·의료·사내 용어가 많으면 자체 데이터로 파인튜닝하거나 최소한 평가셋으로 기본 성능을 먼저 검증한다.
- 재색인 비용: 모델 교체나
bits변경은 전체 재색인을 요구한다. 인덱스 버전을 이름에 박아(docs_v1) 무중단 교체 경로를 확보한다.
정리
ColBERT는 토큰 단위 표현으로 정확도를, 지연 상호작용으로 속도를 동시에 잡는다. 대신 저장 비용과 색인 파이프라인 복잡도라는 대가가 따른다. 단일 벡터 검색으로 키워드 매칭 품질이 부족한 구간이 명확히 존재할 때, 압축·2단계 검색을 전제로 도입하는 것이 현실적인 선택이다.