走行中の車から問い合わせる顧客の声に、道路の騒音や同乗者の会話が重なります。病室からの電話では、院内放送が相談の途中に入り込むかもしれません。こうした環境では、言葉を正確に拾うだけでなく、誰の声に応答すべきかを判断する必要があります。米サンフランシスコの音声AI企業Blandが発表した「Tofu-1」は、このような電話応対を想定する音声モデルです。

Tofu-1は、音声を受け取り、音声で応答する「speech-to-speech」方式を採用しています。特徴は、相手の話を聞く処理と、自ら話す処理を同時に進める全二重、いわゆるフルデュプレックスの動作です。Blandは、発話中にも聞き取りと推論を続けられると説明しています。企業向けの限定的な研究プレビューとして公開され、同社が計画する音声モデル群の最初の製品に位置づけられています。



企業の電話窓口にとって、注目すべき点は声の自然さだけではありません。利用者は静かな場所から、順序立てて話してくれるとは限らないためです。説明の途中で条件を変えたり、近くの人に確認したりする場面も考えられます。Tofu-1が掲げる方向性は、そうした会話の揺れを扱うことにあります。

ただし、発表された設計上の狙いと、実際の業務で確認された性能は分けて読む必要があります。現時点では、処理速度や評価条件など、導入判断に必要な情報の一部が明らかにされていません。今回の発表は、すぐに運用を置き換える根拠というより、自社の電話業務で何を検証すべきかを考える材料と捉えるのが適切でしょう。

一般的な音声エージェントでは、音声認識で利用者の発言を文字に変換し、言語モデルが回答を組み立て、その文章を音声合成で読み上げます。複数の処理を順につなぐため、この構成は「カスケード方式」と呼ばれます。役割を分けて設計しやすい反面、文字だけを次の処理に渡す構成では、声の調子やためらい、周囲の音といった情報を別途扱う工夫が必要です。

Tofu-1は、こうした文字起こしを中間段階に置く構成とは異なり、音声を直接扱います。Blandの説明によると、話し方や背景音もモデルが利用できる情報として残ります。例えば、同じ「大丈夫です」という言葉でも、落ち着いて答える場合と、迷いながら答える場合では、その後に確認すべき内容が変わる可能性があります。文字列以外の手掛かりを応対に生かすことが、この方式の狙いです。



ここで注意したいのは、「音声を直接扱う」という説明だけでは、内部のすべてが分かるわけではない点です。BlandはTofu-1の内部アーキテクチャを公開していません。音声の理解、推論、発話の生成を内部でどのように実現しているかについて、公開情報を超えた断定はできません。

また、音声を直接処理することと、文字の記録を業務上不要にできることは別の話です。企業が応対内容の検索や確認を必要とするなら、記録をどう残すかという設計は引き続き必要でしょう。比較すべきなのは方式の新しさだけではなく、音声の手掛かりを使うことで、聞き返しや誤解が実際に減るかどうかです。

Blandが製品ページで挙げている音声理解の能力は、話者の追跡、雑音の分離、言葉以外の音声的な手掛かりの把握という三つです。話者の追跡では、複数の声を区別し、それぞれが誰に向かって話しているかを捉えるとしています。単に音が聞こえた順に反応するのではなく、会話の相手と周囲の人物を区別するための能力です。

雑音の分離では、泣いている子ども、テレビ、高速道路の交通音、院内放送、電話のキー操作音などが例として挙げられています。ここでは、背景にある人の声も問題になります。テレビのせりふは言葉として聞き取れても、電話の利用者がAIに伝えた指示とは限りません。音声認識の正確さに加え、応答の対象を選ぶ判断が必要になるわけです。



この課題を示すためにBlandが紹介しているのが「TV Test」です。別の場面から流れるテレビ音声を無視しながら、電話の相手についていけるかを問いかける内容です。テレビの音が本人の声より大きい場合も想定しています。ただし、同社はこの紹介を、実際のモデル出力の録音ではなく、説明用の例として示しています。したがって、紹介内容だけを性能実証と見なすことはできません。

残る一つは、ためらい、いら立ち、切迫感などを声から捉える能力です。こうした手掛かりは、説明を短くするか、確認を挟むかを判断する材料になり得ます。ただし、声から受けた印象と本人の意図が一致するとは限りません。企業が検証する際には、感情を読み取れるかだけでなく、曖昧な場面で確認を求められるかまで見る必要があるでしょう。

電話応対では、利用者がAIの説明を最後まで聞いてから話すとは限りません。「予約日は金曜日です」と伝える途中で、利用者が「木曜日に変更したいです」と訂正する場面も考えられます。フルデュプレックスの価値は、このような発話中の割り込みを受け付け、会話の前提を更新できる点にあります。Blandは、Tofu-1に対して文の途中でも訂正や割り込みができると説明しています。

同社はまた、Tofu-1が依頼を処理している間も会話を続け、作業が終わってから結果を伝えるとしています。処理が完了する前に、完了したと主張しないことも掲げています。これは企業利用で確認したい挙動です。会話が自然でも、外部の処理結果と発話内容が食い違えば、利用者に誤った期待を持たせてしまうためです。



例えば、予約変更を伴う応対であれば、「変更を進めています」と「変更できました」は意味が異なります。前者は途中経過であり、後者は結果の報告です。これはTofu-1について確認された個別の導入事例ではなく、完了報告のタイミングを評価するための例です。検証では、成功時だけでなく、処理が遅れる場合や失敗する場合にも、発話が実際の状態に合っているかを確認する必要があります。

Tofu-1には、第二の話者や室内の音、回線ノイズを含む通話の音風景を生成する能力もあると説明されています。ただし、通話らしい音を作れることと、業務上の処理を正しく完了できることは異なる評価軸です。実用性を見極めるには、聞こえ方の自然さに加え、訂正を受けた後の動作と、結果を確かめてから伝える挙動を追うことが欠かせません。

Tofu-1の導入を検討するうえで、現時点の制約は公開されている定量情報の少なさです。モデルの規模、応答の遅延、価格、ベンチマークの結果は明らかにされていません。学習には数百万時間の実際の会話を用いたとされていますが、それだけで特定の業務における精度や応答速度を判断することはできません。

Blandは、スクリーニングで92％超がAIだと見抜けなかったという結果を自己申告しています。ただし、この数値は、問い合わせを正しく解決した割合や、外部ツールを正しく操作した割合を示すものではありません。どのような条件で、どの程度の会話を聞いて判断したかによっても受け止め方が変わります。企業の調達判断では、声の自然さを示す情報と、業務の成功率を示す情報を分ける必要があるでしょう。



競合するフルデュプレックス音声モデルには、遅延やツール利用に関する数値を公表しているものもあります。ただし、各社が自社のページで示した数値であり、評価条件が統一されているわけではありません。会話の受け渡しを評価するFDBというベンチマークについても、異なるバージョンの結果が含まれているため、数値を横に並べて優劣を決めることはできません。

比較を進めるなら、自社で同じシナリオを用意する方法が考えられます。静かな通話、テレビ音声が重なる通話、説明途中に訂正が入る通話など、条件をそろえて確認するのです。そこで見る項目は、返答が始まるまでの時間だけではありません。正しく依頼を完了できたか、何度確認が必要だったか、誤った内容を断定しなかったかを合わせて記録すれば、自然なデモだけでは分からない差を捉えやすくなります。

Tofu-1の研究プレビューは、限られた数の企業を対象としています。Blandは銀行、医療、保険、行政を想定分野として挙げており、申し込みフォームでは月間の通話件数を尋ねています。選択肢には1,000件未満から50,000件以上までが含まれます。この受付方法からは、企業ごとの利用規模を把握しながら参加を募る姿勢がうかがえますが、個別の導入条件までは明らかではありません。

提供時期については1月への言及があるものの、対象年や利用できる機能などの詳細は確認が必要です。研究プレビューへの申し込みが、そのまま本番運用の開始を意味するわけではありません。日本企業が検討する場合には、日本語への対応範囲、電話回線との接続方法、通話データの取り扱い、障害時の対応などを個別に確かめる必要があります。これらの条件がすべて満たされていると判断できる情報は、今回示されていません。



検証対象は、利用件数の多さだけで選ぶ必要はありません。雑音による聞き返しが多い、利用者の訂正を取りこぼしやすい、処理完了までの待ち時間に不安を与えやすいなど、既存の応対で困っている場面を一つ選ぶと、Tofu-1の狙いと照らし合わせやすくなります。そこで、人の担当者へ引き継ぐ条件も含めて評価することが考えられます。

Tofu-1の発表が示すのは、電話AIの評価対象を、読み上げる声から会話全体へ広げる必要性です。自社で検討を始めるなら、最初の一歩は製品名を並べた比較表の作成ではなく、実際に対応が難しかった通話の条件を整理することでしょう。「誰の声を聞くべきか」「途中の訂正をどう反映するか」「何を確認して完了と伝えるか」の三点を検証項目に落とし込めば、公開情報の不足を踏まえた具体的な問い合わせにつなげられます。