01 / UNDERSTAND
仕組みと使いどころ
Vision Transformerは、Transformerをコンピュータービジョンのタスク向けに適用したモデルです。画像を固定サイズのパッチへ分割し、各パッチを線形埋め込みへ変換して位置情報を加え、得られたベクトル列を標準的なTransformerエンコーダーで処理します。画像分類では、学習可能な分類トークンを列に加える構成が使われます。事前学習済みの重みを画像分類へ利用できるほか、特徴抽出用の基盤として使える実装もあります。パッチサイズや入力解像度はチェックポイント名に示される場合があり、例えばpatch16は16×16画素のパッチを表します。入力解像度、パッチサイズ、前処理、学習済み重みはモデルごとに確認する必要があります。
02 / IN PRACTICE
Vision Transformerの活用例
たとえば、こんな場面で
事前学習済みのViTと画像分類用の処理機能を読み込み、入力画像を所定のサイズへ変換してカテゴリを推定できます。また、対応する実装では分類結果ではなく中間の特徴を取り出し、別の画像処理に利用できます。
03 / GOOD TO KNOW
使うときのポイント
使用するチェックポイントのパッチサイズ、入力解像度、リサイズ、値のスケーリング、正規化を確認してください。同じViT系でも構成や学習済み重みが異なるため、名称だけで入力条件や性能を判断しないことが重要です。
参考資料
Vision Transformer (ViT) · Hugging Face （新しいタブで開きます）Vision Transformer (ViT) · Hugging Face （新しいタブで開きます）ViT — NVIDIA NeMo Framework User Guide （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。