왜 "정확도"만으로는 검색을 평가할 수 없나

검색·추천·RAG 리트리버를 평가할 때 accuracy나 단순 hit rate만 보면 함정에 빠진다. 검색은 "정답이 결과 안에 있느냐"뿐 아니라 "얼마나 위쪽에 있느냐"가 중요하다. 사용자는 상위 3~5개만 본다. 정답이 20위에 있으면 없는 것과 다름없다. 그래서 순위(rank)를 반영하는 지표가 필요하다. 이 글에서는 recall@k, MRR, nDCG를 실무 관점에서 정리하고, 파이썬으로 직접 계산하는 코드까지 다룬다.

세 지표의 역할 구분

지표는 목적에 따라 나눠 쓴다. 하나로 통일하려 하지 말고 파이프라인 단계별로 맞는 걸 골라야 한다.

지표측정 대상순위 민감도주로 쓰는 곳
Recall@k정답을 상위 k개 안에 얼마나 담았나없음(포함 여부만)1차 리트리버, 후보 생성
MRR첫 정답의 순위 역수 평균있음(첫 정답만)정답 1개형 QA, 자동완성
nDCG@k등급별 관련도까지 반영한 랭킹 품질있음(전체)리랭커, 다중 관련도 검색

RAG라면 보통 리트리버는 recall@k(정답 문서를 놓치지 않는지)로, 리랭커는 nDCG@k(순서가 맞는지)로 본다. MRR은 "정답이 사실상 하나"인 상황에 적합하다.

정의와 계산식

Recall@k는 상위 k개 중 검색된 관련 문서 수를 전체 관련 문서 수로 나눈 값이다. MRR은 각 쿼리에서 첫 정답의 순위 r에 대해 1/r을 구해 쿼리 전체 평균을 낸다. nDCG는 DCG를 이상적 정렬 DCG(IDCG)로 나눠 0~1로 정규화한다. DCG는 관련도 rel_i를 위치로 할인해 rel_i / log2(i+1)을 더한다.

파이썬으로 직접 구현하기

외부 라이브러리 없이 세 지표를 계산하는 최소 구현이다. ranked는 시스템이 반환한 문서 id 리스트, relevant는 정답 집합(또는 등급 딕셔너리)이다.

import math

def recall_at_k(ranked, relevant, k):
    if not relevant:
        return 0.0
    hits = sum(1 for d in ranked[:k] if d in relevant)
    return hits / len(relevant)

def mrr(ranked, relevant):
    for i, d in enumerate(ranked, start=1):
        if d in relevant:
            return 1.0 / i
    return 0.0

def ndcg_at_k(ranked, grades, k):
    # grades: {doc_id: relevance_grade}, 없으면 0
    def dcg(items):
        return sum((2 ** grades.get(d, 0) - 1) / math.log2(i + 1)
                   for i, d in enumerate(items, start=1))
    dcg_val = dcg(ranked[:k])
    ideal = sorted(grades, key=grades.get, reverse=True)[:k]
    idcg_val = dcg(ideal)
    return dcg_val / idcg_val if idcg_val > 0 else 0.0

ranked = ["d3", "d1", "d9", "d2", "d7"]
relevant = {"d1", "d2"}
grades = {"d1": 3, "d2": 1}

print(round(recall_at_k(ranked, relevant, 3), 3))  # 0.5
print(round(mrr(ranked, relevant), 3))             # 0.5
print(round(ndcg_at_k(ranked, grades, 5), 3))      # 0.786

여러 쿼리를 한 번에 집계하기

실무에서는 평가셋 전체 평균을 낸다. 쿼리별 결과를 CSV로 뽑아 두면 회귀 테스트에 그대로 쓸 수 있다.

def evaluate(dataset, k=10):
    # dataset: [{"query": q, "ranked": [...], "relevant": {...}, "grades": {...}}, ...]
    agg = {"recall": 0.0, "mrr": 0.0, "ndcg": 0.0}
    n = len(dataset)
    for row in dataset:
        agg["recall"] += recall_at_k(row["ranked"], row["relevant"], k)
        agg["mrr"]    += mrr(row["ranked"], row["relevant"])
        agg["ndcg"]   += ndcg_at_k(row["ranked"], row.get("grades", {}), k)
    return {m: round(v / n, 4) for m, v in agg.items()}

이 함수를 CI에 넣어 특정 임계값 아래로 떨어지면 배포를 막는 식으로 운영한다.

실무에서 자주 틀리는 지점

  • k 값을 고정하지 않고 비교한다: recall@5와 recall@20을 섞어 비교하면 무의미하다. 실제 서빙에서 노출하는 개수에 k를 맞춰라.
  • 이진 관련도로 nDCG를 쓴다: 관련도가 0/1뿐이면 nDCG의 등급 할인 이점이 사라진다. 등급 라벨(예: 0~3)이 있을 때만 nDCG의 값이 크다.
  • 정답 라벨이 불완전하다: 라벨링 안 된 관련 문서를 오답으로 세면 recall이 실제보다 낮게 나온다. 평가셋의 정답 커버리지를 먼저 점검해야 한다.
  • MRR을 다중 정답에 쓴다: MRR은 첫 정답만 본다. 정답이 여러 개인 검색에는 nDCG나 MAP이 맞다.

평가셋 관리와 회귀 방지

지표보다 중요한 건 평가셋의 안정성이다. 쿼리-정답 쌍을 버전 관리하고, 모델·인덱스를 바꿀 때마다 동일 셋으로 재측정해 지표 변화를 기록한다. 쿼리 로그에서 실패 사례를 주기적으로 추가해 평가셋을 갱신하되, 한 번 편입한 쿼리는 함부로 빼지 않아야 시계열 비교가 유지된다. 지표는 단일 숫자가 아니라 "어떤 쿼리 유형에서 떨어졌는가"까지 쪼개 봐야 개선 방향이 나온다.