01 / UNDERSTAND
仕組みと使いどころ
音声処理におけるサブサンプリングは、波形やスペクトログラムなどの時間方向のデータを間引き、フレームレートを下げる処理です。長い音声系列を短くできるため、Transformerなど後段のモデルで必要となる計算やメモリを減らせます。畳み込み層による処理や、連続フレームの結合と間引きなど、具体的な方法はモデルによって異なります。一方、元の標本やフレームを減らすため、細かな時間情報が失われる可能性があります。なお、同じダウンサンプリングという語が、機械学習では多数派クラスのデータを減らして不均衡を調整する意味でも使われるため、文脈の確認が必要です。
02 / IN PRACTICE
Subsamplingの活用例
たとえば、こんな場面で
Granite Speech 5.0 TurboCTCでは、音声特徴のフレームレートを100Hzから12.5Hzへ8分の1に下げています。最初に連続するlog-mel特徴と差分特徴を結合して間引き、続く層のストライド付き畳み込みと残差経路のプーリングでさらに縮小する構成です。
03 / GOOD TO KNOW
使うときのポイント
仕様を読むときは、削減率だけでなく、対象が波形、特徴フレーム、画像、学習データのどれかを確認してください。音声では、入力と出力のフレームレートや各段階の縮小率を区別すると構成を正確に把握できます。
参考資料
ibm-granite/granite-speech-5.0-470m-turboctc · Hugging Face (新しいタブで開きます)Unit 3. Transformer architectures for audio · Hugging Face (新しいタブで開きます)What is downsampling? | IBM (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
