AI LAB / KEYWORD DICTIONARY

AI基盤技術

Local LLM(ローカルLLM)とは?

Local Large Language Model

外部の推論サービスではなく、手元のパソコンや管理下の機器で実行する大規模言語モデル。

仕組みと使いどころ

対応するアプリや推論エンジンを使い、モデルを自分の機器上で動かします。入力データを遠隔サーバーへ送らずに処理でき、モデル設定を管理しやすく、外部API提供者への利用料なしで実行できる点が利点です。一方、処理速度や扱えるモデルの規模は使用する機器に制約されます。また、実行アプリごとに対応するモデル形式が異なります。

Local LLMの活用例

たとえば、こんな場面で

社外へ送信したくない文書を手元の機器で処理し、要約や対話を試す用途が考えられます。

使うときのポイント

機器の処理能力だけでなく、使いたいモデルの形式が実行アプリに対応しているかを確認します。

参考資料

Use AI Models Locally · Hugging Face (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

Local LLMが登場する記事から、次のヒントを。

新しい順 最新2件

  1. Perplexityの「Portable Computer」は企業AIをローカル実行へ戻すのか

    本文より

    …:モデルだけではない Portable Computerの重要な点は、ローカルLLMだけを提供しているわけではないことです。原文は、ローカルモデル、推論エンジン、エージェントハーネス、ツールサンドボックス、アプリコネクターが一体のシステムとして提供されると説明しています。通常、企業がローカ…

    記事を読む

日本語名や別名を含む記事もご紹介しています。