📈 RAG 성능 평가 지표: 순위 고려 지표(Rank-Aware) - mAP, mRR, nDCG

RAG의 성능을 평가하는 것은 시스템의 효율성과 사용자 만족도를 측정하는 데 매우 중요합니다. 사용자가 원하는 정보를 얼마나 빠르고 정확하게 찾아주는지를 정량적으로 나타내는 여러 지표들이 사용되며, 그중 대표적인 것이 mAP (Mean Average Precision), mRR (Mean Reciprocal Rank), nDCG (Normalized Discounted Cumulative Gain) 입니다. 각 지표는 평가하는 관점과 목적이 다르므로, 시스템의 특성과 평가 목표에 맞춰 적절한 지표를 선택하고 해석하는 것이 중요합니다. 😊

1. mRR (Mean Reciprocal Rank)

정의 (Definition)

mRR (Mean Reciprocal Rank) 은 여러 쿼리(Query)에 대해 검색된 결과 리스트에서 첫 번째 정답(관련성 높은 항목)이 나타난 순위의 역수(Reciprocal Rank, RR) 를 구하고, 이 값들의 평균을 낸 지표입니다. 즉, 시스템이 사용자가 찾는 ‘단 하나의 정답’을 얼마나 빨리 찾아주는지에 초점을 맞춥니다.

설명 (Explanation)

• Reciprocal Rank (RR): 특정 쿼리에 대한 검색 결과 리스트에서 첫 번째 정답 항목의 순위(rank)가 k라고 할 때, RR은 1/k 로 계산됩니다. 예를 들어, 첫 번째 결과가 바로 정답이면 RR은 1/1 = 1, 세 번째 결과가 첫 정답이면 RR은 1/3이 됩니다. 만약 결과 리스트에 정답이 없다면 RR은 0이 됩니다.
• Mean (평균): 여러 쿼리 (Q)에 대한 RR 값을 모두 계산한 후, 이 값들의 산술 평균을 구하여 최종 mRR 값을 얻습니다. 공식은 다음과 같습니다: mRR = (1 / |Q|) * Σ(1 / rank_i) (여기서 rank_i는 i번째 쿼리에서 첫 번째 정답의 순위)
• 특징:
  • 🤔 단순성: 계산이 비교적 간단하고 직관적입니다.
  • 🥇 첫 정답 중요: 사용자가 ‘하나의 정답’을 찾는 경우 (예: 질문 답변 시스템, 알려진 항목 검색)에 특히 유용합니다. 첫 번째 관련성 높은 결과의 순위에만 집중합니다.
  • 📉 한계점: 첫 번째 정답 이후의 다른 관련성 높은 항목들의 순위나 개수는 전혀 고려하지 않습니다. 즉, 상위 결과에 여러 개의 정답이 있어도 첫 번째 정답의 순위만 반영합니다.

예시 (Example)

3개의 쿼리에 대한 검색 결과와 첫 번째 정답의 순위가 다음과 같다고 가정해 봅시다.

• 쿼리 1: [결과 A (정답), 결과 B, 결과 C] → 첫 정답 순위(rank) = 1, RR = 1/1 = 1
• 쿼리 2: [결과 D, 결과 E, 결과 F (정답)] → 첫 정답 순위(rank) = 3, RR = 1/3
• 쿼리 3: [결과 G, 결과 H (정답), 결과 I] → 첫 정답 순위(rank) = 2, RR = 1/2

이 경우, mRR은 (1 + 1/3 + 1/2) / 3 = (6/6 + 2/6 + 3/6) / 3 = (11/6) / 3 = 11/18 ≈ 0.611 입니다. 이 시스템은 평균적으로 첫 번째 정답을 약 1~2위 사이에서 찾아준다고 해석할 수 있습니다.

2. mAP (Mean Average Precision)

정의 (Definition)

mAP (Mean Average Precision) 는 각 쿼리별 Average Precision (AP) 값의 평균입니다. AP는 검색 결과 리스트에서 관련성 높은 항목들이 상위에 얼마나 잘 랭크되었는지를 정밀도(Precision) 와 재현율(Recall) 을 모두 고려하여 평가하는 지표입니다. 즉, 여러 개의 관련성 높은 항목을 모두 잘 찾아내는 능력을 측정합니다.

설명 (Explanation)

• 정밀도 (Precision): 검색된 항목 중 관련성 높은 항목의 비율 (Precision = TP / (TP + FP))
• 재현율 (Recall): 전체 관련성 높은 항목 중 검색된 항목의 비율 (Recall = TP / (TP + FN))
• Average Precision (AP): 단일 쿼리에 대한 평가 지표입니다. 검색 결과 리스트를 위에서부터 순서대로 확인하면서, 관련성 높은 항목이 나올 때마다 해당 순위까지의 정밀도(Precision)를 계산하고, 이 정밀도 값들의 평균을 구합니다. 관련성 있는 모든 문서를 검색했을 때만 Recall 값이 1이 되며, 이때의 Precision 값들의 평균이 AP가 됩니다. 공식은 다음과 같이 표현될 수 있습니다: AP = Σ(P(k) * rel(k)) / (Number of relevant documents) (여기서 P(k)는 상위 k개 결과에서의 정밀도, rel(k)는 k번째 결과가 관련성이 있으면 1, 아니면 0)
• Mean (평균): 여러 쿼리에 대한 AP 값을 모두 계산한 후, 이 값들의 산술 평균을 구하여 최종 mAP 값을 얻습니다.
• 특징:
  • 📊 순서 및 개수 고려: 관련성 높은 항목의 순서와 개수를 모두 반영합니다. 관련성 높은 항목이 결과 리스트 상위에 많이 나올수록 AP 값이 높아집니다.
  • ⚖️ 정밀도-재현율 균형: 암묵적으로 정밀도와 재현율 사이의 균형을 고려합니다.
  • 🎯 일반적 성능 평가: 정보 검색 분야에서 가장 널리 사용되는 표준적인 평가 지표 중 하나입니다. 특히 여러 개의 관련성 높은 결과를 찾는 것이 중요한 경우 (예: 웹 검색)에 적합합니다.
  • 🔢 이진 관련성 가정: 기본적으로 항목이 ‘관련성 있음’ 또는 ‘관련성 없음’의 두 가지로만 구분된다고 가정합니다 (Binary Relevance).

예시 (Example)

어떤 쿼리에 대해 총 5개의 관련성 높은 문서가 존재한다고 가정하고, 시스템이 10개의 결과를 반환했으며, 그 순서와 관련성 여부가 다음과 같다고 합시다: [R, N, R, R, N, N, R, N, R, N] (R: Relevant, N: Not Relevant)

1. 1번째 결과(R): Precision = 1/1 = 1.0 (관련 문서 1/5 찾음)
2. 3번째 결과(R): Precision = 2/3 ≈ 0.67 (관련 문서 2/5 찾음)
3. 4번째 결과(R): Precision = 3/4 = 0.75 (관련 문서 3/5 찾음)
4. 7번째 결과(R): Precision = 4/7 ≈ 0.57 (관련 문서 4/5 찾음)
5. 9번째 결과(R): Precision = 5/9 ≈ 0.56 (관련 문서 5/5 찾음)

이 쿼리의 AP = (1.0 + 0.67 + 0.75 + 0.57 + 0.56) / 5 ≈ 3.55 / 5 = 0.71 만약 여러 쿼리에 대해 AP 값을 계산하여 평균을 내면 그것이 mAP가 됩니다. 예를 들어 3개의 쿼리에 대한 AP 값이 각각 0.71, 0.5, 0.8 이라면, mAP = (0.71 + 0.5 + 0.8) / 3 ≈ 0.67 입니다.

3. nDCG (Normalized Discounted Cumulative Gain)

정의 (Definition)

**nDCG (Normalized Discounted Cumulative Gain)**는 검색 결과의 순위 품질을 평가하는 지표로, 특히 관련성의 정도가 다양한(graded relevance) 경우에 유용합니다. 상위 순위에 있는 결과에 더 높은 가중치를 부여하고(Discounted), 이상적인(가장 좋은) 순서로 정렬되었을 때의 점수로 나누어(Normalized) 0과 1 사이의 값으로 정규화합니다.

설명 (Explanation)

• Cumulative Gain (CG): 상위 k개 결과의 관련성 점수(relevance score)를 단순히 합산한 값입니다. 결과의 순서는 고려하지 않습니다. CG_k = Σ(rel_i) (i=1 to k, rel_i는 i번째 결과의 관련성 점수)
• Discounted Cumulative Gain (DCG): CG에 순서 개념을 도입한 것입니다. 하위 순위 결과의 관련성 점수에는 **페널티(discount)**를 부여합니다. 일반적으로 i번째 순위의 결과에는 1 / log2(i+1)의 할인율(discount factor)을 적용합니다. 즉, 순위가 낮을수록(i가 클수록) 분모가 커져 가중치가 줄어듭니다. DCG_k = Σ(rel_i / log2(i+1)) (i=1 to k) (다른 할인 함수를 사용하기도 합니다.)
• Normalized DCG (nDCG): DCG 값은 쿼리나 결과의 개수에 따라 달라질 수 있으므로, 비교를 위해 정규화합니다. **Ideal DCG (IDCG)**는 해당 쿼리에 대해 가능한 가장 이상적인 순서 (관련성 높은 순서대로 정렬)로 결과를 나열했을 때의 DCG 값입니다. nDCG는 실제 DCG 값을 IDCG 값으로 나눈 것입니다. nDCG_k = DCG_k / IDCG_k 이 값은 항상 0과 1 사이에 위치하며, 1에 가까울수록 이상적인 순위에 가깝다는 의미입니다.
• 특징:
  • 💯 등급별 관련성 반영: 관련성을 단순 이진(0 또는 1)이 아닌 여러 등급(예: 0=관련 없음, 1=조금 관련 있음, 2=매우 관련 있음)으로 평가할 수 있습니다.
  • 📉 순위 가중치: 상위 순위 결과에 더 큰 중요도를 부여하는 직관적인 방식을 사용합니다. 낮은 순위의 좋은 결과보다는 높은 순위의 좋은 결과가 더 가치 있다는 점을 반영합니다.
  • 🌐 표준화된 비교: 정규화를 통해 서로 다른 쿼리나 시스템 간의 성능 비교가 용이합니다.

예시 (Example)

어떤 쿼리에 대해 상위 5개 결과의 관련성 점수(0~3점)가 다음과 같다고 가정해 봅시다: [3, 2, 3, 0, 1]

• DCG 계산:

  • DCG@1 = 3 / log2(1+1) = 3 / 1 = 3
  • DCG@2 = 3 + 2 / log2(2+1) ≈ 3 + 2 / 1.585 = 4.26
  • DCG@3 = 4.26 + 3 / log2(3+1) = 4.26 + 3 / 2 = 5.76
  • DCG@4 = 5.76 + 0 / log2(4+1) = 5.76
  • DCG@5 = 5.76 + 1 / log2(5+1) ≈ 5.76 + 1 / 2.585 = 6.15 (DCG@5 ≈ 6.15)

• IDCG 계산: 이상적인 순서는 관련성 점수가 높은 순서인 [3, 3, 2, 1, 0] 입니다.

  • IDCG@1 = 3 / log2(1+1) = 3
  • IDCG@2 = 3 + 3 / log2(2+1) ≈ 3 + 3 / 1.585 = 4.89
  • IDCG@3 = 4.89 + 2 / log2(3+1) = 4.89 + 2 / 2 = 5.89
  • IDCG@4 = 5.89 + 1 / log2(4+1) ≈ 5.89 + 1 / 2.322 = 6.32
  • IDCG@5 = 6.32 + 0 / log2(5+1) = 6.32 (IDCG@5 ≈ 6.32)

• nDCG 계산:

  • nDCG@5 = DCG@5 / IDCG@5 ≈ 6.15 / 6.32 ≈ 0.973

이 시스템은 상위 5개 결과에 대해 거의 이상적인 순서에 가깝게 결과를 제시했다고 평가할 수 있습니다 (nDCG@5 ≈ 0.973).

4. 어떤 지표를 언제 사용해야 할까? 🤔

• mRR: 사용자가 하나의 명확한 정답을 찾고 있으며, 그 정답이 얼마나 빨리 나타나는지가 중요할 때 (예: “프랑스 수도는?”, 특정 논문 찾기).
• mAP: 사용자가 여러 개의 관련성 높은 결과를 찾고 있으며, 결과의 순서와 관련성 여부가 중요할 때 (예: “머신러닝 튜토리얼”, “여행 추천”). 이진 관련성으로 충분할 때 주로 사용됩니다.
• nDCG: 관련성의 정도가 다양하고, 상위 순위의 품질이 매우 중요할 때 (예: 웹 검색 결과, 영화/음악 추천). mAP보다 더 세밀한 평가가 가능합니다.

각 지표는 정보 검색 시스템의 특정 측면을 강조하므로, 시스템의 목표와 사용자의 요구에 가장 적합한 지표를 선택하거나 여러 지표를 함께 사용하여 다각적으로 성능을 평가하는 것이 바람직합니다. 👍

참고:

• 정보 검색(Information Retrieval) 평가 방법: MAP, MRR, DCG, NDCG
• 정보 검색(Information Retrieval) 평가는 어떻게 하는 것이 좋을까?(2/2)

관련 노트: 정보 검색 시스템의 기본 원리 정밀도(Precision)와 재현율(Recall)의 이해 평가 지표 선택 가이드: 분류 문제 vs. 검색 문제 추천 시스템 성능 평가 지표: RMSE, MAE, Precision@k, Recall@k 질의 응답(Question Answering) 시스템 평가 방법 랭킹 알고리즘 개요: PageRank부터 Learning to Rank까지 이진 관련성(Binary Relevance) vs 등급별 관련성(Graded Relevance) B 테스트를 통한 검색 알고리즘 성능 비교 오프라인 평가 지표와 온라인 사용자 만족도의 관계 사용자 로그 데이터를 활용한 검색 품질 개선

🏷️: 정보 검색 평가 지표 mAP mRR nDCG 성능 측정 기계 학습 데이터 과학 검색 엔진 추천 시스템 랭킹