01 / UNDERSTAND
仕組みと使いどころ
Moshiは、利用者の音声とモデル自身の音声を別々の並行ストリームとして扱います。明示的な話者交代を前提とせず、発話の重なり、割り込み、間投詞を含む対話をモデル化できます。テキスト言語モデルを基盤とし、ニューラル音声コーデックのトークンとして音声を生成します。また、音声トークンに先立って時間整合したテキストトークンを予測します。報告された遅延は理論上160ミリ秒、実動作で約200ミリ秒です。公開モデルは英語向けで、複雑な課題への能力は限定的であり、外部ツールにはアクセスできません。
02 / IN PRACTICE
Moshiの活用例
たとえば、こんな場面で
低遅延の音声会話、簡単な質問応答、ロールプレイなど、利用者の割り込みを含む対話の研究や試作に利用できます。
03 / GOOD TO KNOW
使うときのポイント
遅延を評価するときは、160ミリ秒と約200ミリ秒がMoshiについて報告された値であることを明示します。用途を検討する際は、英語向けであること、複雑な課題への能力、外部ツール非対応という制約も確認します。
参考資料
Moshi: a speech-text foundation model for real-time dialogue （新しいタブで開きます）GitHub - kyutai-labs/moshi: Moshi is a speech-text foundation model and full-duplex spoken dialogue framework. It uses Mimi, a state-of-the-art streaming neural audio codec. （新しいタブで開きます）kyutai/moshiko-pytorch-bf16 · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。