01 / UNDERSTAND
仕組みと使いどころ
GUI分野のグラウンディングは、「ウィンドウを閉じる」といった指示から、対象となるボタンや画面領域を特定し、具体的な操作へ結び付けることを指します。対象の認識だけでなく、画面配置の理解や細かな位置の特定も関係します。デスクトップ、Web、モバイルなどの操作に用いられ、GUIエージェントが意図した場所をクリックするうえで重要です。ただし、正しい操作対象を特定できても、複数手順からなるタスク全体を完了できるとは限りません。
02 / IN PRACTICE
Groundingの活用例
たとえば、こんな場面で
たとえば、画面画像と「このウィンドウを閉じる」という指示を与え、閉じるボタンの領域やクリック位置を特定させる用途が考えられます。Webページやモバイル画面の操作対象を見つける場面にも応用できます。
03 / GOOD TO KNOW
使うときのポイント
評価時は、対象要素を正しく見つけたかに加え、クリック位置が対象領域内にあるかを確認します。視覚情報だけを使う設定か、DOMやアクセシビリティ情報も使う設定かで条件が異なる点にも注意が必要です。
参考資料
ScreenSuite - The most comprehensive evaluation suite for GUI Agents! （新しいタブで開きます）Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis （新しいタブで開きます）GitHub - microsoft/GUI-Actor: [NeurIPS'25] GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。