추천시스템 주요 성능 평가 지표

 

 

 

 

Precision/Recall @k

• Precision@k
  • 추천한 k개의 아이템 중 실제 유저가 관심 있는 아이템의 비율
• Recall@k
  • 유저가 관심 있는 아이템 중 추천한 아이템 k개에 속하는 아이템의 비율
• 예시
  • k = 5일때 a, b, c, d, e 추천
  • 유저가 관심 있는 아이템은 d, e, z
  • Precision@5 = 2/5
  • Recall@5 = 2/3

 

 

Mean Average Precision@k (MAP@k)

• Average Precision@k (AP@k)
  • 한 유저에 대해, Precision@1부터 Precision@k까지의 평균
  • 관심 아이템을 먼저 추천할수록 점수 상승

$$AP@K = {1 \over m} \sum_{i=1}^{K}Precision@i$$

• Mean Average Precisoin@k (MAP@k)
  • 모든 유저에 대한 AP@k의 평균

$$MAP@K = {1 \over |U|}\sum_{u=1}^{|U|}{(AP@K)}_u$$

 

 

Normalized Discounted Cumulative Gain (NDCG)

• 추천 시스템에 가장 많이 사용되는 지표
  • 검색(Information Retrieval)에서 등장한 지표
• Top K 리스트를 만들고 유저가 선호하는 아이템을 비교하여 값을 구함
• 순서에 가중치를 더 많이 두어 성능을 평가하여 1에 가까울수록 좋음
• 관련도를 이진(binary)값이 아닌 수치(평점)로도 사용할 수 있음
  • 사용자에게 얼마나 더 관련 있는 아이템을 상위로 노출시키는지 알 수 있음
• 예시
  • k = 5 일때
  • 선호하는 아이템(평점) : c(4), a(3), b(3), d(2), e(1)
  • 추천 순서(평점) : d(2), c(4), a(3), b(3), e(1)
• Discounted Cumulative Gain (DCG)
  • 상위 k개 추천 아이템에 대해 추천 순서에 따라 관련도를 discount해서 합한 값
  • 관련도($rel_i$)는 관심 있다/없다(1, 0)뿐만 아니라 평점값도 사용 가능
  • 유저의 선호 아이템 개수가 k보다 작으면 선호 아이템 개수만큼만 더해줌

$$ \begin{align} DCG &= \sum_{i=1}^K {rel_i \over \log_2 (i+1)} \\ &= \frac {2} {log_2(1+1)} + \frac {4} {log_2(1+2)} + \frac {3} {log_2(1+3)} + \frac {3} {log_2(1+4)} + \frac {1} {log_2(1+5)} \\ &= 7.702 \end{align} $$

• Ideal DCG (IDCG)
  • 이상적인 추천이 일어났을 때의 DCG 값
  • 가능한 DCG 값 중에 가장 큼
  • 관련도로 평점을 사용하는 경우 선호 순서대로 추천하는 것이 IDCG

$$ \begin{align} IDCG &= \sum_{i=1}^K {rel_i^{opt} \over \log_2 (i+1)} \\ &= \frac {4} {log_2(1+1)} + \frac {3} {log_2(1+2)} + \frac {3} {log_2(1+3)} + \frac {2} {log_2(1+4)} + \frac {1} {log_2(1+5)}\\ &= 8.641 \end{align} $$

• NDCG
  • DCG / IDCG 값

$$NDCG = {DCG \over IDCG} = {7.702 \over 8.641} = 0.891 $$