AI LAB

Insights and Innovations

ISMのAIツール

無料で文字起こしをはじめる
AIキーワード辞書気になる用語を、わかる言葉に。英語・日本語で検索できます。

点線の用語から説明を表示できます

Sus8システム
2026/11/22
今更聞けないAI知識
写真に言葉を添えて質問できるのはなぜ?マルチモーダルAIの基本

この記事の要点

マルチモーダルAIは、文字や写真、音声など複数の種類の情報を扱うAIです。架空の落とし物を例に、写真と依頼文の役割、生成AIとの関係、回答を確認する見方を説明します。使う前には、利用するAIが入力できる情報を確かめましょう。

目次
写真と文章を一緒に扱う「マルチモーダルAI」


落とし物の特徴を説明しようとして、「黒い小さなケースで、角が丸くて……」と言葉に詰まる場面を想像してください。写真なら形を伝えやすくなりますが、拾った場所や何を相談したいのかまでは写りません。「写真と短い説明を一緒に渡せたら」と感じる場面が、マルチモーダルAIを知る入り口です。

一言でいうと、マルチモーダルAIは「複数の種類の情報を扱うAI」です。ここでいう情報の種類には、文字、画像、音声、動画などがあります。Google Cloudの公式資料では、マルチモーダルAIはこうした異なる種類の情報を組み合わせて扱う能力として説明されています。「マルチ」は複数、「モーダル」は情報の種類に関わる言葉、と捉えると入りやすいでしょう。(出典: Google Cloud)



たとえば、写真を扱えるAIに落とし物の画像を示し、「受付に届けるため、外見の特徴を文章にしてください」と頼む使い方が考えられます。これは使い方の提案であり、特定のサービスで操作を検証した結果ではありません。大切なのは、写真が外見の情報を、文章が依頼の目的を受け持つという関係です。

ただし、「マルチモーダル」という名前だけで、どんな写真や音声でも扱えると判断することはできません。複数の情報を扱うという大きな分類と、利用するAIが実際に受け付ける情報は分けて確かめる必要があります。最初に覚えたいのは難しい用語の一覧ではなく、「文字以外も使える場合があるので、そのAIに渡せる情報を確認する」という見方です。
文字と写真がある説明書に似た役割分担


マルチモーダルAIの使いどころは、文字と写真を組み合わせた説明書にたとえると整理しやすくなります。家具の説明書に「板を取り付けてください」とだけ書かれていたら、どの板をどちら向きに付けるのか迷うかもしれません。図だけでも、取り付ける順番や注意事項が読み取れないことがあります。文字と図が別々の情報を補うことで、説明を追いやすくなるわけです。

AIに渡す情報にも、これと似た役割分担を考えられます。写真は形や配置などを示す材料になり、文章は「何をしてほしいのか」「どこに注目してほしいのか」を伝える材料になります。Google Cloudが説明する複数の種類の情報の組み合わせを、利用者の立場から捉え直したたとえです。(出典: Google Cloud)



架空の例として、机に置かれたケースの写真を考えましょう。「これは何ですか」という質問と、「落とし物の記録に使うため、写真で確認できる外見を説明してください」という質問では、求める回答が違います。後者は、製品名を当てることよりも、色や形を整理することが目的だと伝わる依頼です。写真を追加するだけでなく、文章で作業の方向を示す点に意味があります。

もっとも、このたとえはAIが人と同じように説明書を理解するという意味ではありません。説明書を読む人なら気付く違和感を、AIが同様に扱えるとは限らないためです。「写真を見せたので、事情もすべて伝わったはず」と考えず、写真にない背景は文章で補うとよいでしょう。二つの材料に何を任せるかを分けると、依頼そのものも整理しやすくなります。
「扱う情報の種類」と「生成する働き」は別の見方


写真と文章から回答が返ってくると、AIがその場で画像の読み方を一から覚えているように感じるかもしれません。仕組みの入り口としては、学習によって作られた「モデル」が、渡された情報を処理して回答に使うと捉えるとよいでしょう。モデルとは、データから学んだパターンを使って、予測や生成などを行う仕組みです。Google Cloudの資料では、機械学習のモデルは学習用データを使った処理から得られるものと説明されています。(出典: Google Cloud)

IBMの公式資料では、文章だけでなく画像、動画、音声などを対象とする基盤モデルや、複数の種類の内容を支えるマルチモーダルな基盤モデルが紹介されています。基盤モデルとは、さまざまな用途の土台になる学習済みのモデルです。生成AIについては、学習データのパターンなどを基に、依頼に応じた新しい内容を作る技術と説明されています。(出典: IBM)



ここで混同しやすいのが、「マルチモーダルAI」と「生成AI」の関係です。前者は主に扱う情報の種類に注目する言葉で、後者は文章や画像などを作り出す働きに注目する言葉です。写真と文章を材料に説明文を作る場合は、複数の種類の情報を扱いながら、文章を生成していると整理できます。どちらか一方だけに分類しなければならないわけではありません。

利用する側は、内部の計算方法まで覚える必要はありません。「何を渡せるか」と「何を返してもらえるか」を別々に確認することが実用的です。写真を入力できるという説明から、画像の生成や音声での回答まで可能だと広げて考えるのは避けましょう。入力と出力を分けるだけでも、名称から機能を思い込みにくくなります。
架空の落とし物で考える、写真と依頼文の組み合わせ


使い方を具体化するため、駅の待合室で黒いケースを拾い、受付へ届ける場面を例にします。ここからは架空の状況に基づく提案です。利用するAIが写真を入力できることを確認したうえで、ケースの写真と、拾った状況や依頼の目的を文章で渡すと考えてください。特定の画面や添付操作を前提にした手順ではありません。

写真を渡す前に、何を手伝ってほしいかを決めます。この例の目的は、持ち主や製品名を特定することではなく、受付へ伝える外見の説明を下書きすることです。目的が曖昧なまま「教えてください」と頼むより、必要な作業の範囲を自分でも把握しやすくなるでしょう。AIへの依頼文や質問は「プロンプト」と呼ばれますが、特別な書式を覚えるところから始める必要はありません。



プロンプトの提案例は、次のようになります。「この写真は、待合室で拾った落とし物です。受付に伝えるため、写真で確認できる色や形などの特徴を短い文章にしてください。製品名や持ち主は推測せず、写真では分からないことは分からないと書いてください」。これは回答の範囲を伝える例であり、この文面なら誤りを防げると保証するものではありません。

回答を受け取ったら、手元のケースと照らし合わせます。色の表現は合っているか、写っていない裏側の特徴まで書かれていないか、製品名を勝手に補っていないかを確認してください。拾った場所のように文章で伝えた情報と、写真から読み取ったとされる情報を分けて見ることも役立ちます。完成品としてそのまま渡すのではなく、自分が確認して使う下書きとして扱う流れです。
情報が増えても、回答の正しさは別に確かめる


写真と文章を渡せば、文字だけでは伝えにくかった材料を追加できます。ただし、材料が増えることと、回答が正しいことは同じではありません。Google Cloudが紹介するマルチモーダルAIの説明は、複数の種類の情報を扱う能力を示すものです。あらゆる対象を正確に判別できるという保証として読むべきではないでしょう。(出典: Google Cloud)

落とし物の例なら、「画像そのものに写っていること」「利用者が文章で補ったこと」「回答の中で推測として加わったこと」を分けると、確認する場所が見えてきます。たとえば写真だけではケースの中身が分からないなら、中身を断定した説明は採用しないという判断ができます。もっともらしい文章でも、元の材料で確かめられない部分まで事実として扱う必要はありません。



また、「分からないことは分からないと書いてください」という依頼は、求める回答の方針を示すものです。それを入れたことで読み取りや生成の誤りがなくなるとは考えないでください。確認の役割をプロンプトだけに任せず、出てきた文章と元の写真を見比べることが欠かせません。判断できない部分は、無理に文章を完成させず、記載を控える選択もできます。

確認すべき点は、回答の使い道によっても変わります。自分用のメモなら言い換えの候補として残せても、他の人へ渡す説明なら、相手が事実として受け取る部分を確かめたいところです。この例では、持ち主の判断はAIの説明に任せず、受付へ実物を届ける行動につなげます。AIに依頼する範囲と、自分が確かめる範囲を決めることが、情報の種類を増やすこと以上に大切です。
明日からは「何を渡して、何を確かめるか」で選ぶ


マルチモーダルAIを試すときは、難しい活用法を探すよりも、普段「言葉だけでは説明しにくい」と感じる場面を一つ選んでみてください。落とし物の外見のように、写真が役立つ部分と文章が必要な部分を分けられる題材なら、複数の情報を使う意味を考えやすいでしょう。これは利用の提案であり、作業時間の短縮や成果を実測したものではありません。

利用前には、公式の説明で入力できる情報の種類と、求める回答に対応しているかを確かめます。Google Cloudの資料に画像や音声、動画などが挙げられていても、その一覧をすべてのAIに共通する機能表として使うことはできません。今使おうとしているAIの説明に戻り、「写真を渡せるか」「文章で説明を求められるか」と、自分の目的に沿って確認する姿勢が必要です。(出典: Google Cloud)



最初の依頼では、確認しやすい範囲に作業を絞るとよいでしょう。「この物の正体をすべて教えてください」よりも、「写真で確認できる外見を短く説明してください」という頼み方なら、回答を実物と比べる観点がはっきりします。うまく説明されていない部分があれば、目的や注目箇所を文章で補うことも考えられます。ただし、追加で質問した回答も同じように確認してください。

次に写真を添えて質問する機会があれば、送る前に「写真から伝えたいこと」と「文章で補うこと」を一つずつ挙げてみてください。そして、返ってきた回答のどこを自分で確かめるかまで決めておきます。マルチモーダルという言葉を知った後の具体的な一歩は、情報をたくさん渡すことではありません。目的に合う材料を選び、確かめられる範囲の回答を求めることです。
参考情報


- AI vs. Machine Learning: How Do They Differ? | Google Cloud
- What Is Artificial Intelligence (AI)? | IBM

資料の取得日時は2026年11月22日です。IBMの記事には2024年8月9日公開、2026年10月2日更新と記載されています。Google Cloudの資料の公開日・更新日は、提供された資料内では確認できません。

ISM AI CONSULTING

AIを、自社の業務で
使える仕組みに。

ISM株式会社は、システム開発で培った技術と現場理解をもとに、AIの業務活用を支援します。課題の整理から導入・運用まで、貴社に合う進め方を一緒に考えます。

  • 活用テーマの整理
  • 業務への組み込み
  • 導入後の定着
AI活用について相談する

「何から始めるか」のご相談から承ります。

AI LAB 一覧へ戻る