01 / UNDERSTAND
仕組みと使いどころ
多言語テキストと未加工の画像パッチを単一の双方向Transformerで符号化する。画像用エンコーダと生成用言語モデルを組み合わせた構成とは異なり、非生成型の文書検索に伴うパラメータ量や計算負荷の軽減を狙う。視覚文書検索向けに調整できるが、示された性能や効率は特定のベンチマーク、入力解像度、ハードウェアなどの条件に基づく。
02 / IN PRACTICE
NeoMMEの活用例
たとえば、こんな場面で
文書ページを画像のまま索引化し、問い合わせに関連するページを検索する構成に活用できる。
03 / GOOD TO KNOW
使うときのポイント
モデル規模、検索方式、画像解像度、評価指標、実行環境をそろえて候補モデルと比較する。
参考資料
NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference （新しいタブで開きます）NeoMME - a Hcompany Collection （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。