LLM-WER（意味を考慮した単語誤り率）とは？

01 / UNDERSTAND

仕組みと使いどころ

通常の単語誤り率（WER）は文字列を厳密に比較するため、同じ意味を保つ別表記、借用語の文字体系の違い、口語的な表現なども誤りとして数えることがあります。LLM-WERでは、まず音声認識結果と人手で確認した正解文の不一致箇所を特定し、その箇所について意味が同等か、発音が似ているかをLLMに判定させます。両方が確認された差は誤りに含めず、実質的な誤りだけを基にWERを再計算します。曖昧な場合は同等ではないと判定する方針です。ただし、評価結果には使用するLLMの判断が関与するため、単純な文字列比較だけで完結する指標ではありません。

02 / IN PRACTICE

LLM-WERの活用例

03 / GOOD TO KNOW

使うときのポイント

適用時は、正解文と認識結果の不一致が意味だけでなく発音面でも同等と判定された場合に限り、誤りから除外される点を確認します。