01 / UNDERSTAND
仕組みと使いどころ
端末内推論では、処理がデータ源である端末上で行われ、クラウドサーバーに依存せずに入力から出力を生成します。データを遠隔のデータセンターへ送る必要を減らせるため、低遅延化、帯域使用量の削減、外部ネットワークへのデータ露出の抑制につながります。また、インターネット接続が断続的でも処理を継続できます。一方、端末の計算能力やメモリには制約があり、大規模なモデルでは圧縮、量子化、枝刈りなどの最適化が必要になる場合があります。端末への配布や更新、暗号化されたローカルストレージ、端末認証、定期的な修正適用も検討事項です。
02 / IN PRACTICE
On-Device Inferenceの活用例
たとえば、こんな場面で
スマートフォン上でGemmaを実行し、文章検索、メールの下書き、文書要約などのテキスト生成処理を行えます。自動運転車の端末上でセンサーデータを処理し、低遅延で判断する構成も端末内推論の例です。
03 / GOOD TO KNOW
使うときのポイント
対象端末の処理能力とメモリでモデルが動作するか、必要な応答速度を満たすかを実機で確認します。モデルの最適化、配布、更新、端末保護の方法も併せて設計します。
参考資料
What is Edge Inference? - Edge AI Inference Explained - AWS （新しいタブで開きます）Deploy Gemma on mobile devices | Google AI for Developers （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。