AI LAB / KEYWORD DICTIONARY

基礎知識

Log-Mel Spectrogram(ログメルスペクトログラム)とは?

ログメルスペクトログラムは、音声を時間とメル周波数帯ごとの強さに変換し、その値を対数尺度で表した音響特徴です。

仕組みと使いどころ

音声波形を短い区間に分け、短時間フーリエ変換でスペクトログラムを求めた後、メルフィルターバンクを適用し、対数へ変換して作成します。メル尺度は、周波数に対する人の知覚が非線形であることを近似する尺度です。音声認識モデルなどへ、時間変化を保った周波数特徴を入力する用途があります。ただし、サンプリング周波数、窓幅、フレーム間隔、メルフィルター数、メル尺度、対数化や正規化の方法は実装ごとに異なります。そのため、同じ音声でも設定が違えば値やフレーム数は一致しません。

Log-Mel Spectrogramの活用例

たとえば、こんな場面で

音声認識の前処理として、録音した波形をログメルスペクトログラムへ変換し、時間方向に並ぶ特徴量としてモデルへ入力する使い方が考えられます。

使うときのポイント

利用するモデルが指定するサンプリング周波数、メル帯域数、窓幅、フレーム間隔、対数化と正規化の方式を確認し、同じ設定で生成してください。

参考資料

Utilities for FeatureExtractors · Hugging Face (新しいタブで開きます)whisper/whisper/audio.py at main · openai/whisper (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る