01 / UNDERSTAND
仕組みと使いどころ
CTCでは、音声から得た時系列の各位置について、文字などのラベルまたは特別な空白ラベルを予測します。デコード時には、連続して重複したラベルをまとめてから空白ラベルを除き、最終的な文字列を得ます。この仕組みにより、音声と転写文の組に文字や単語の時刻情報がなくても、音声と文字が同じ順序で進むという前提で学習できます。エンコーダー型Transformerを使う場合は、エンコーダー出力を線形層で文字集合へ写し、CTC損失で学習します。文字単位の予測では、音に近くても綴りを誤る場合があり、外部の言語モデルを用いて転写品質を補う方法があります。
02 / IN PRACTICE
CTCの活用例
たとえば、こんな場面で
録音音声と全文の書き起こしはあるものの、各文字や単語の時刻情報がないデータを使って、音声から文字列を生成する認識モデルを学習する場合にCTCを利用できます。
03 / GOOD TO KNOW
使うときのポイント
CTCを使う際は、対象言語の文字、単語区切り、空白ラベルなどを含む語彙を確認します。CTCによる文字列生成だけで単語単位の正確なタイムスタンプや正しい綴りが保証されるわけではありません。
参考資料
CTC architectures · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。