01 / UNDERSTAND
仕組みと使いどころ
文章で記述された音を条件として音声サンプルを生成します。AudioGenでは、学習した離散的な音声表現を自己回帰モデルで扱います。公開例には犬の鳴き声、緊急車両のサイレン、廊下の足音があります。複数音源の分離、実環境の背景雑音や残響、文章付き音声データの少なさ、高いサンプリングレートによる長い系列などが技術上の課題です。AudioGenは音声を混合するデータ拡張や複数ストリームによるモデル化も検討しています。
02 / IN PRACTICE
Environmental audio generationの活用例
たとえば、こんな場面で
「廊下を歩く足音」のように生成したい音を文章で指定し、対応する音声サンプルを作成します。
03 / GOOD TO KNOW
使うときのポイント
必要な音源や場面を具体的に記述し、複数音源が重なる場合は音の区別、背景雑音、残響などを実際の出力で確認してください。
参考資料
AudioGen: Textually Guided Audio Generation （新しいタブで開きます）audiocraft/docs/AUDIOGEN.md at main · facebookresearch/audiocraft （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。