Vision Tower（ビジョンタワー）とは？

01 / UNDERSTAND

仕組みと使いどころ

ビジョンタワーは、画像と文章を扱うモデルのうち、画像側の処理を担う部分です。LLaVAではCLIPの視覚エンコーダーがこの役割を担い、構成には視覚バックボーンと、視覚特徴を文章側へ接続するプロジェクターが含まれます。NVIDIAのMiniMax M3 VLでは、ViT、マルチモーダルプロジェクター、画像トークンをまとめる処理から構成され、文章側と同じ隠れ次元の画像トークンを返します。ビジョンタワー単体が文章を生成するわけではなく、具体的な内部構成や出力形式はモデルごとに異なります。

02 / IN PRACTICE

Vision Towerの活用例

03 / GOOD TO KNOW

使うときのポイント

モデルを確認するときは、使用する視覚バックボーン、特徴を取り出す層、プロジェクターの設定を確認します。複数画像への対応や入力形式はモデル固有であり、個別の資料に従う必要があります。