01 / UNDERSTAND
仕組みと使いどころ
WDER(Word Diarization Error Rate)は、単語単位の話者ダイアライゼーション性能を評価する指標です。参照文と認識結果の単語を対応付け、話者IDの並びを最適に対応させたうえで、話者ラベルが誤っている単語の割合を求めます。単語の時間境界を評価に使わないため、単語単位で音声認識と話者識別を行うシステムの評価に適しています。一方、文字起こし自体の挿入・削除・置換を総合的に測るWERとは役割が異なり、WDERだけでは音声認識の正確さ全体を判断できません。また、重複発話に該当する単語を除外する修正版WDERもあるため、結果を比較するときは計算方法と評価データをそろえる必要があります。
02 / IN PRACTICE
WDERの活用例
たとえば、こんな場面で
会議音声の文字起こしで、各単語に話者A・話者Bのラベルを付けるモデルの比較に利用できます。WDERが4.40%から4.10%になった場合、誤り率は0.30ポイント低下し、相対的な改善率は約7%です。
03 / GOOD TO KNOW
使うときのポイント
WDERを見る際は、通常版か重複発話を除外した修正版かを確認してください。WER、評価データ、発話条件が異なる結果同士は、WDERの数値だけで単純比較できません。
参考資料
Joint Speech Recognition and Speaker Diarization via Sequence Transduction (新しいタブで開きます)speaker-id/publications/WEEND/README.md at master · google/speaker-id (新しいタブで開きます)speaker-id/DiarizationLM/diarizationlm/metrics.py at master · google/speaker-id (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
