Computer Use（コンピューター操作）とは？

01 / UNDERSTAND

仕組みと使いどころ

AIは利用者の指示と現在の画面を分析し、クリック、スクロール、文字入力などのUI操作を生成します。アプリケーション側がその操作を実行し、新しいスクリーンショットをAIへ返す処理を繰り返すことで、フォーム入力、Webアプリのテスト、複数サイトを使った情報収集などを自動化できます。ただし、AIが単独で端末を直接操作する仕組みではありません。操作を受け取って実行する環境や処理ループを実装し、状態を呼び出し間で維持する必要があります。また、誤操作や不正な画面上の指示による影響を抑えるため、隔離環境での実行、操作後の画面確認、必要に応じた利用者の承認が重要です。

02 / IN PRACTICE

Computer Useの活用例

03 / GOOD TO KNOW

使うときのポイント

導入時は、対応する操作と対象環境を明確にし、スクリーンショットによる結果確認を組み込みます。重要な送信や変更は自動実行せず、利用者の確認を挟む設計を検討してください。