01 / UNDERSTAND
仕組みと使いどころ
画面上で見えている内容を、システムが理解できる構造化された情報や操作へ結び付ける。これにより、利用者が「3番目を再生して」「その会話」のように画面上の項目を指しても、Siriが対象を特定して対応する操作へつなげられる。メッセージやメールなどから情報を探す個人の文脈理解や、ウェブから情報を得る機能とは別に示されている。
02 / IN PRACTICE
Onscreen Awarenessの活用例
たとえば、こんな場面で
音楽一覧の表示中に「3番目を再生して」と頼み、画面上の項目を再生操作へ結び付ける。
03 / GOOD TO KNOW
使うときのポイント
画面上の対象が正しく特定されるか、特定後に意図した操作へつながるかを分けて確認する。
参考資料
How to get Siri AI - Apple Support （新しいタブで開きます）Explore advanced App Intents features for Siri and Apple Intelligence - WWDC26 - Videos - Apple Developer （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。