地域の催しのチラシをスマートフォンで撮ったあと、「開催日はいつ？」「申し込みは必要？」と確かめたくなることはありませんか。写真の文字をすべて入力する代わりに、写真と質問を一緒に渡して回答を求める使い方が考えられます。今回は、このように種類の違う情報を扱う「マルチモーダルAI」を取り上げます。

一言で答えると、マルチモーダルAIは、文字・画像・音声など、複数の種類の情報を扱うAIです。Google Cloudの解説でも、文章に加えて画像、動画、音声などの異なる情報を組み合わせる能力として説明されています。「マルチ」は複数、「モーダル」はここでは情報の種類に関係する言葉、と捉えると入りやすいでしょう。（出典: Google Cloud）



ただし、この言葉だけで、どんな写真でも読める、あらゆる音声に対応する、とまでは判断できません。複数の種類を扱うという分類と、実際に何ができるかという確認は、分けて考える必要があります。文字と画像を組み合わせる例を知ったからといって、同じサービスで動画や音声まで使えるとは決めつけないようにしたいところです。

この記事では、架空の案内チラシを一つの例として使います。中心となる疑問は、「写真を渡して質問するとき、AIに何を任せ、どこを自分で確かめればよいか」です。新しい製品名を覚えるよりも、入力した資料と返ってきた答えの関係をつかむことを目指します。なお、以下の利用場面や依頼文は説明のための提案であり、特定の製品を実際に操作して検証した記録ではありません。

マルチモーダルという考え方は、家具の組み立て説明書にたとえると分かりやすくなります。「この向きで差し込んでください」という文章だけでは、「この向き」がどちらを指すのか迷うかもしれません。部品の写真や矢印が隣にあれば、文章と図を照らし合わせられます。情報の種類を組み合わせることで、片方だけでは伝わりにくい内容を補う、というたとえです。

チラシの写真と「開催日時を教えてください」という質問にも、似た役割分担があります。写真は調べる対象となる資料で、質問文は何を取り出してほしいかを示す指示です。写真の中には日時だけでなく、会場、主催者、注意事項などもあるため、質問があることで注目してほしい点を伝えられます。これは仕組みをつかむための説明であり、人間と同じ読み方や意識がAIにあるという意味ではありません。



AIの仕組みを説明するときの「モデル」は、データから学習したパターンや関係を使って、入力を処理するための仕組みを指します。IBMの解説では、生成AIの土台となるモデルには、文章向けだけでなく、画像や音声向け、複数の種類の内容に対応するものもあると説明されています。（出典: IBM）

利用する側は、内部の計算をすべて覚える必要はありません。「資料として何を渡したか」と「何をしてほしいと伝えたか」を分けて捉えることが出発点です。たとえば同じチラシでも、開催日時を抜き出す依頼と、紹介文の案を作る依頼では、求める作業が違います。前者では原本との一致が中心になり、後者では表現の選び方も確認対象になるでしょう。写真を渡すこと自体より、写真を使って何を確かめたいのかが、依頼を考える手がかりになります。

「画像に対応したAI」と聞くと、絵を描く機能を思い浮かべる方もいるでしょう。ここでは、情報がどちらへ進むのかを分けて考えると整理できます。チラシの写真を渡して日時を文章で答えてもらう場合は、画像が入力、文章が出力です。文章で風景を指定して絵を作る場合は、文章が入力、画像が出力になります。

IBMは生成AIを、依頼に応じて文章、画像、動画、音声などの内容を作るモデルとして説明しています。また、Google CloudはマルチモーダルAIについて、異なる種類の情報を統合して扱う能力に着目しています。つまり、「生成AI」は内容を作る働きに、「マルチモーダル」は扱う情報の種類に注目した言葉です。同じAIを説明する際に両方の言葉が使われても、不思議ではありません。（出典: IBM、Google Cloud）



この違いは、使いたい機能を探すときにも役立ちます。「チラシの写真から日時を確認したい」のであれば、画像を作れるという説明だけでは判断材料が足りません。画像を入力として扱えるか、その画像に関する質問に対応するかを、利用先の説明で確かめる必要があります。具体的な対応範囲を、言葉の印象だけで補わないことが大切です。

音声についても、同じ整理ができます。声を入力することと、返答が音声で出ることは、情報の向きが違います。自分がしたいことを「何を渡して、何を受け取りたいか」という一文にすると、必要な機能を確認しやすくなるでしょう。今回なら「チラシの写真を渡して、開催日時を文章で受け取りたい」と表せます。難しい用語を増やさなくても、この言い換えができれば、説明を読むときの焦点はかなり定まります。

ここからは、架空の「まちの読書会」のチラシを例にします。原本には「開催日：12月6日」「受付：13時30分」「開始：14時」「申込締切：11月28日」と書かれている設定です。これらは説明用に作った情報であり、実在する催しの案内ではありません。写真を入力できる環境で、このチラシについて質問する場面を想定します。

依頼文の提案は、「このチラシから、開催日、受付時刻、開始時刻、申込締切を項目ごとに抜き出してください。読み取れない部分は推測で補わず、その旨を書いてください。各項目について、根拠になる写真内の見出しも添えてください」です。「プロンプト」とは、このようにAIへ渡す質問や指示などの入力文を指します。Googleの用語集でも、質問、指示、例などがプロンプトに含まれると説明されています。（出典: Google for Developers）



項目を分けるのは、「いつですか」という一言では、開催日と申込締切、受付と開始のどれを答えてほしいかが曖昧になるためです。回答を受け取ったら、日付だけでなく、その横にある見出しも写真と照らし合わせます。数字が一致していても、締切日を開催日として扱っていれば、案内としては誤りになります。

この依頼文は、正答を保証する特別な書式ではありません。「読めない場合はそう書く」と頼んでも、回答の確認は必要です。もし日付が不明瞭なら、該当箇所を自分で確かめたり、見やすく撮り直した写真を使ったりする方法が考えられます。目的は、答えを一度で信じられる形にすることではなく、何を確認すればよいかが分かる形に整えることです。読み取りと照合を一続きの作業として考えると、AIへの依頼も具体的になります。

写真を渡したあとに整った文章が返ってくると、その内容も正確に読み取れているように感じるかもしれません。しかし、回答が読みやすいことと、原本に合っていることは別の確認事項です。Googleの用語集は、生成AIがもっともらしく見えても事実と異なる内容を出すことを「ハルシネーション」と説明しています。日本語では「幻覚」と訳されますが、ここではAIの出力に生じる誤りの種類を表す言葉です。（出典: Google for Developers）

チラシの例で注意したいのは、文字の読み取りだけではありません。架空の失敗例として、受付時刻を開始時刻として紹介する、写真に写っていない年を補う、「申込締切」の日付を開催日として答える、といった誤りを考えてみましょう。これらを特定の製品で確認したという意味ではなく、回答を点検する際の着眼点として挙げています。



確認するときは、「数字は同じか」「その数字は何を指すか」「原本にない情報が加わっていないか」の三つに分けると、見る場所が明確になります。開催日だけが合っていても、受付時刻の取り違えを見落とせば、参加者への連絡には使いにくいでしょう。短い回答でも、項目ごとに照合する意味があります。

AIに再度尋ねることはできますが、同じ回答が返ったという理由だけで、原本との一致を確認できたことにはなりません。チラシに関する質問なら、照合先はチラシです。読めない箇所を保留し、必要なら案内の発行元に確かめる、という判断も残しておきましょう。AIが情報を整理する役割と、人が根拠を確認する役割を組み合わせれば、出力をそのまま受け入れる以外の使い方ができます。

マルチモーダルAIを試すとき、最初からチラシ全体の要約や紹介文の作成まで頼む必要はありません。提案としては、手元で原本を確認できる案内を選び、「開始時刻と受付時刻を分けて教えてください」のように、確かめたいことを一つに絞るところから始めるとよいでしょう。回答のどこを見ればよいかが、依頼する時点で決まります。

作業の流れは、資料を用意し、知りたい項目を指定し、返答を原本と並べて確認する、という形です。チラシの写真が資料、質問文が作業の指定、回答が確認対象になります。この三つを混ぜずに捉えると、答えに疑問があるときも、写真が見づらいのか、依頼が曖昧なのか、回答が原本と食い違うのかを整理しやすくなります。これは利用方法の提案であり、効果を測定した手順ではありません。



たとえば、家族へ催しの日時を送る前なら、回答から必要な項目を確認し、原本と一致した内容だけを連絡文へ使う方法が考えられます。職場で案内を共有する場合も、読み取れなかった部分を空欄や確認待ちとして残せば、どこまで確かめたかを伝えられるでしょう。説明用の文章を追加してもらう場合には、チラシの記載内容と、AIが作った表現の案を区別して扱います。

「複数の情報を扱える」という知識を得ると、AIを文章入力だけの道具として捉える必要はなくなります。同時に、写真を渡しただけで確認まで完了するわけでもありません。次に案内の写真を見返すときは、知りたい項目を一つ選び、それが原本のどこに書かれているかも確認してみてください。その小さな往復が、AIに何を頼めるかを自分で判断する出発点になります。

- AI vs. Machine Learning: How Do They Differ? | Google Cloud
- What Is Artificial Intelligence (AI)? | IBM
- 機器學習詞彙表：生成式 AI | Google for Developers

提供資料の取得日時は2026年11月7日です。IBMの記事には公開日が2024年8月9日、更新日が2026年10月2日と記載されています。取得日は公開日とは区別し、この記事では新機能の発表として扱っていません。