01 / UNDERSTAND
仕組みと使いどころ
SALMは「音声拡張言語モデル」と訳され、音声を処理するエンコーダーの出力を、テキストのトークン埋め込みと同じ空間に変換し、入力指示とともにLLMへ渡す方式です。NVIDIA NeMoでは、音声特徴とテキストの埋め込みを時系列方向に連結し、LLMがテキストを出力する構成として説明されています。対応機能は個別モデルによって異なり、文字起こし、翻訳、話者別の書き起こし、言語識別、音声内容への質問応答などに利用できる場合があります。SALMという方式自体が、対応言語、入力時間、リアルタイム処理、精度を保証するものではありません。
02 / IN PRACTICE
SALMの活用例
たとえば、こんな場面で
対応するSALMに会議音声と「話者を区別して文字起こしする」といった指示を与え、議事録作成の下書きに使うことが考えられます。また、対応モデルでは音声翻訳や録音内容に関する質問への回答にも利用できます。
03 / GOOD TO KNOW
使うときのポイント
採用時は個別モデルの資料で、対応言語とタスク、音声の長さ、入力形式、出力仕様を確認します。内部で音声を分割処理していても、リアルタイム配信に対応するとは限りません。
参考資料
SpeechLM2 — NVIDIA NeMo Framework User Guide （新しいタブで開きます）Speech-agumented Large Language Models (SpeechLLM) — NVIDIA NeMo Framework User Guide （新しいタブで開きます）nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。