01 / UNDERSTAND
仕組みと使いどころ
マルチモーダル理解では、テキストだけを扱う場合と異なり、画像内の物体や文字、動画の場面、音声、文書の表や図などを組み合わせて分析します。対応するモデルでは、画像や動画についての質問応答、要約、物体検出、OCR、文書からの情報抽出などが可能です。ただし、利用できる入力形式や機能はモデルごとに異なります。また、多言語を含む画像、細かな文字、正確な位置関係、人物の特定などを苦手とする場合があり、回答に誤りが含まれる可能性もあります。
02 / IN PRACTICE
Multimodal understandingの活用例
たとえば、こんな場面で
商品の写真と説明文を入力し、写っている特徴について質問する使い方が考えられます。また、図表を含む報告書を読み込ませ、内容の要約や特定情報の抽出を依頼することもできます。
03 / GOOD TO KNOW
使うときのポイント
使用前に、対象モデルが対応するデータ形式、容量、入力数、音声処理の可否を公式資料で確認してください。小さな文字は必要な周辺情報を残して該当部分を切り出し、重要な結果は元データと照合します。
参考資料
Multimodal understanding - Amazon Nova （新しいタブで開きます）What is Multimodal AI? | IBM （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。