Speech Encoder（音声エンコーダー）とは？

01 / UNDERSTAND

仕組みと使いどころ

音声認識や音声翻訳に用いる音声エンコーダー・デコーダーモデルでは、エンコーダーが音声波形または音声特徴を処理し、系列状の隠れ状態を出力します。デコーダーはその出力をクロスアテンションで参照しながら、文字列を自己回帰的に生成できます。Wav2Vec2やHuBERTなどの事前学習済み音声モデルをエンコーダーとして使用し、事前学習済みのデコーダーと組み合わせる構成も可能です。組み合わせたモデルは、音声と対応するテキストの組を使って対象タスク向けに追加学習できます。音声エンコーダー自体は文字列を生成するデコーダーとは異なる構成部分です。

02 / IN PRACTICE

Speech Encoderの活用例

03 / GOOD TO KNOW

使うときのポイント

モデルを確認するときは、エンコーダーが受け取る入力形式、組み合わせるデコーダー、対象タスク向けに追加学習されたチェックポイントかどうかを区別します。