01 / UNDERSTAND
仕組みと使いどころ
音声波形を短い区間に分け、短時間フーリエ変換でスペクトログラムを求めた後、メルフィルターバンクを適用し、対数へ変換して作成します。メル尺度は、周波数に対する人の知覚が非線形であることを近似する尺度です。音声認識モデルなどへ、時間変化を保った周波数特徴を入力する用途があります。ただし、サンプリング周波数、窓幅、フレーム間隔、メルフィルター数、メル尺度、対数化や正規化の方法は実装ごとに異なります。そのため、同じ音声でも設定が違えば値やフレーム数は一致しません。
02 / IN PRACTICE
Log-Mel Spectrogramの活用例
たとえば、こんな場面で
音声認識の前処理として、録音した波形をログメルスペクトログラムへ変換し、時間方向に並ぶ特徴量としてモデルへ入力する使い方が考えられます。
03 / GOOD TO KNOW
使うときのポイント
利用するモデルが指定するサンプリング周波数、メル帯域数、窓幅、フレーム間隔、対数化と正規化の方式を確認し、同じ設定で生成してください。
参考資料
Utilities for FeatureExtractors · Hugging Face (新しいタブで開きます)whisper/whisper/audio.py at main · openai/whisper (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
