01 / UNDERSTAND
仕組みと使いどころ
単一タワーアーキテクチャは、画像とその説明文を同じ情報に対する異なる見方と捉え、両者を一つのモデルで同時に符号化する視覚・言語事前学習の構成です。論文で提案されたOneRは、画像用と文章用に分かれた表現空間ではなく、モダリティに依存しない統一表現空間の学習を目指します。評価では、ゼロショット物体位置特定、文章に基づく視覚的推論、マルチモーダル検索などの性質が検討されています。一方、論文は汎用的な単一タワーの学習に難しさがあることも示しており、あらゆる用途で他の構成より優れるとまでは確認されていません。
02 / IN PRACTICE
Single-Tower Architectureの活用例
たとえば、こんな場面で
活用案として、画像と説明文を共通空間で照合する検索や、文章を手掛かりに画像内の対象を探す処理、画像について文章の条件に沿って推論するタスクへの適用が考えられます。
03 / GOOD TO KNOW
使うときのポイント
採用時は、「単一タワー」が画像と文章を一つの統一表現空間で扱う構成を指すか確認し、個別タワー方式より常に高性能だとはみなさないことが重要です。
参考資料
Unifying Vision-Language Representation Space with Single-tower Transformer （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。