01 / UNDERSTAND
仕組みと使いどころ
各検索クエリや利用者について、最初の関連項目の順位をrとすると逆順位は1/rです。関連項目が1位なら1、2位なら0.5となり、評価対象内に関連項目がなければ0とします。MRRはこれらを複数のクエリや利用者で平均します。最初の関連項目を上位に出せるかを評価するため、先頭の結果が重視される検索や質問応答などに向きます。一方、2件目以降の関連項目の数や順位は評価しないため、複数の有用な候補を並べる品質はMRRだけでは判断できません。
02 / IN PRACTICE
MRRの活用例
たとえば、こんな場面で
3件の検索で最初の関連項目が2位、1位、5位なら、逆順位は0.5、1、0.2です。MRRはその平均で約0.57となります。モデル比較では、同じ評価データと同じ上位件数を使う方法が考えられます。
03 / GOOD TO KNOW
使うときのポイント
MRR@Kを使う場合はKを明記し、関連性の判定基準と、K件以内に関連項目がない場合の扱いをそろえます。異なるデータで算出した値は、モデル性能の差として単純比較しないよう注意します。
参考資料
Evaluating an Amazon Personalize domain recommender （新しいタブで開きます）Evaluation Measures in Information Retrieval | Pinecone （新しいタブで開きます）Evaluation Metrics for Search and Recommendation Systems | Weaviate （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。