01 / UNDERSTAND
仕組みと使いどころ
典型的な視覚言語モデルは、画像から特徴を取り出す視覚エンコーダー、視覚表現を言語モデルが扱える形式へ変換する投影層、テキストを処理または生成する言語モデルで構成されます。画像説明、視覚的質問応答、文書理解、文字認識、画像や映像の要約などに利用できます。モデルごとに学習データ、構成、対応する入力や能力は異なります。入力解像度やコンテキスト長などの制約により、小さな物体や細部、物体の正確な位置、長時間の映像を十分に扱えない場合があります。
02 / IN PRACTICE
Vision-Language Modelの活用例
たとえば、こんな場面で
商品画像と質問文を入力して写っている内容を説明させたり、文書画像を入力して内容に関する質問へ回答させたりする用途があります。画像や映像の要約にも利用できます。
03 / GOOD TO KNOW
使うときのポイント
対象とする画像、文書、映像で実際に評価し、細部の認識、位置関係、文字認識、長い映像への対応を確認します。モデル固有の入力形式、解像度、機能の違いにも注意します。
参考資料
What are Vision-Language Models? （新しいタブで開きます）Vision Language Models Explained （新しいタブで開きます）Introduction to Vision Language Models · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。