왜 "정확도"만으로는 검색을 평가할 수 없나
검색·추천·RAG 리트리버를 평가할 때 accuracy나 단순 hit rate만 보면 함정에 빠진다. 검색은 "정답이 결과 안에 있느냐"뿐 아니라 "얼마나 위쪽에 있느냐"가 중요하다. 사용자는 상위 3~5개만 본다. 정답이 20위에 있으면 없는 것과 다름없다. 그래서 순위(rank)를 반영하는 지표가 필요하다. 이 글에서는 recall@k, MRR, nDCG를 실무 관점에서 정리하고, 파이썬으로 직접 계산하는 코드까지 다룬다.
세 지표의 역할 구분
지표는 목적에 따라 나눠 쓴다. 하나로 통일하려 하지 말고 파이프라인 단계별로 맞는 걸 골라야 한다.
| 지표 | 측정 대상 | 순위 민감도 | 주로 쓰는 곳 |
|---|---|---|---|
| Recall@k | 정답을 상위 k개 안에 얼마나 담았나 | 없음(포함 여부만) | 1차 리트리버, 후보 생성 |
| MRR | 첫 정답의 순위 역수 평균 | 있음(첫 정답만) | 정답 1개형 QA, 자동완성 |
| nDCG@k | 등급별 관련도까지 반영한 랭킹 품질 | 있음(전체) | 리랭커, 다중 관련도 검색 |
RAG라면 보통 리트리버는 recall@k(정답 문서를 놓치지 않는지)로, 리랭커는 nDCG@k(순서가 맞는지)로 본다. MRR은 "정답이 사실상 하나"인 상황에 적합하다.
정의와 계산식
Recall@k는 상위 k개 중 검색된 관련 문서 수를 전체 관련 문서 수로 나눈 값이다. MRR은 각 쿼리에서 첫 정답의 순위 r에 대해 1/r을 구해 쿼리 전체 평균을 낸다. nDCG는 DCG를 이상적 정렬 DCG(IDCG)로 나눠 0~1로 정규화한다. DCG는 관련도 rel_i를 위치로 할인해 rel_i / log2(i+1)을 더한다.
파이썬으로 직접 구현하기
외부 라이브러리 없이 세 지표를 계산하는 최소 구현이다. ranked는 시스템이 반환한 문서 id 리스트, relevant는 정답 집합(또는 등급 딕셔너리)이다.
import math
def recall_at_k(ranked, relevant, k):
if not relevant:
return 0.0
hits = sum(1 for d in ranked[:k] if d in relevant)
return hits / len(relevant)
def mrr(ranked, relevant):
for i, d in enumerate(ranked, start=1):
if d in relevant:
return 1.0 / i
return 0.0
def ndcg_at_k(ranked, grades, k):
# grades: {doc_id: relevance_grade}, 없으면 0
def dcg(items):
return sum((2 ** grades.get(d, 0) - 1) / math.log2(i + 1)
for i, d in enumerate(items, start=1))
dcg_val = dcg(ranked[:k])
ideal = sorted(grades, key=grades.get, reverse=True)[:k]
idcg_val = dcg(ideal)
return dcg_val / idcg_val if idcg_val > 0 else 0.0
ranked = ["d3", "d1", "d9", "d2", "d7"]
relevant = {"d1", "d2"}
grades = {"d1": 3, "d2": 1}
print(round(recall_at_k(ranked, relevant, 3), 3)) # 0.5
print(round(mrr(ranked, relevant), 3)) # 0.5
print(round(ndcg_at_k(ranked, grades, 5), 3)) # 0.786
여러 쿼리를 한 번에 집계하기
실무에서는 평가셋 전체 평균을 낸다. 쿼리별 결과를 CSV로 뽑아 두면 회귀 테스트에 그대로 쓸 수 있다.
def evaluate(dataset, k=10):
# dataset: [{"query": q, "ranked": [...], "relevant": {...}, "grades": {...}}, ...]
agg = {"recall": 0.0, "mrr": 0.0, "ndcg": 0.0}
n = len(dataset)
for row in dataset:
agg["recall"] += recall_at_k(row["ranked"], row["relevant"], k)
agg["mrr"] += mrr(row["ranked"], row["relevant"])
agg["ndcg"] += ndcg_at_k(row["ranked"], row.get("grades", {}), k)
return {m: round(v / n, 4) for m, v in agg.items()}
이 함수를 CI에 넣어 특정 임계값 아래로 떨어지면 배포를 막는 식으로 운영한다.
실무에서 자주 틀리는 지점
- k 값을 고정하지 않고 비교한다: recall@5와 recall@20을 섞어 비교하면 무의미하다. 실제 서빙에서 노출하는 개수에 k를 맞춰라.
- 이진 관련도로 nDCG를 쓴다: 관련도가 0/1뿐이면 nDCG의 등급 할인 이점이 사라진다. 등급 라벨(예: 0~3)이 있을 때만 nDCG의 값이 크다.
- 정답 라벨이 불완전하다: 라벨링 안 된 관련 문서를 오답으로 세면 recall이 실제보다 낮게 나온다. 평가셋의 정답 커버리지를 먼저 점검해야 한다.
- MRR을 다중 정답에 쓴다: MRR은 첫 정답만 본다. 정답이 여러 개인 검색에는 nDCG나 MAP이 맞다.
평가셋 관리와 회귀 방지
지표보다 중요한 건 평가셋의 안정성이다. 쿼리-정답 쌍을 버전 관리하고, 모델·인덱스를 바꿀 때마다 동일 셋으로 재측정해 지표 변화를 기록한다. 쿼리 로그에서 실패 사례를 주기적으로 추가해 평가셋을 갱신하되, 한 번 편입한 쿼리는 함부로 빼지 않아야 시계열 비교가 유지된다. 지표는 단일 숫자가 아니라 "어떤 쿼리 유형에서 떨어졌는가"까지 쪼개 봐야 개선 방향이 나온다.