01 / UNDERSTAND
仕組みと使いどころ
マルチモーダル検索では、対応するモデルでテキストや画像などをベクトル表現に変換し、その類似度を利用して形式をまたいだ検索を行えます。例えば、文章による条件から関連する画像を探すテキスト・画像検索が可能です。製品によっては、ベクトル検索と全文検索、メタデータによる絞り込みを組み合わせられます。ただし、利用できる入力形式や検索方法は、設定したモデルや検索基盤の対応範囲に限られます。また、近似的なベクトル索引は検索を高速化できる一方、再現率が下がり、結果がより概算的になる場合があります。
02 / IN PRACTICE
Multimodal Searchの活用例
たとえば、こんな場面で
商品画像と説明文を登録し、「白いビクトリア朝風のドレス」のような文章から近い画像を探す商品検索に活用できます。また、画像を検索条件として、内容の近い画像や関連データを提示する仕組みも検討できます。
03 / GOOD TO KNOW
使うときのポイント
導入時は、検索対象と検索入力の形式にモデルが対応しているかを確認します。索引を使う場合は、速度だけでなく検索結果の再現率との兼ね合いも検証してください。
参考資料
Multimodal Search | Pinecone （新しいタブで開きます）Search operators | Weaviate Documentation （新しいタブで開きます）Generare e cercare embedding multimodali | BigQuery | Google Cloud Documentation （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。