01 / UNDERSTAND
仕組みと使いどころ
「モダリティ」は情報の種類や形式を指します。マルチモーダルデータは、文章と画像、映像と音声など、複数のモダリティから構成されるデータです。これを扱えるAIは、異なる形式の情報を入力として処理したり、別の形式で結果を生成したりできます。例えば、画像の内容を文章で説明する処理が該当します。ただし、複数形式のデータがあるだけで正確な理解が保証されるわけではありません。形式ごとの構造や表現が異なるため、情報同士の対応付けや統合が課題になります。また、言語モデルは表形式データの行列関係を正しく把握できない場合があります。
02 / IN PRACTICE
Multimodal dataの活用例
たとえば、こんな場面で
商品画像と説明文を組み合わせ、画像の特徴を文章で案内する仕組みに利用できます。また、鳥の写真と鳴き声を一緒に入力し、識別の参考情報を増やす用途も考えられます。
03 / GOOD TO KNOW
使うときのポイント
利用するモデルが対応する入力・出力形式を確認し、画像と説明文、映像と音声などの対応関係が正しいデータを用意します。出力は誤る可能性があるため、用途に応じた確認が必要です。
参考資料
Data differences between generative AI and traditional ML （新しいタブで開きます）What is Multimodal AI? | IBM （新しいタブで開きます）Machine Learning Glossary | Google for Developers （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。