01 / UNDERSTAND
仕組みと使いどころ
トークンは、単語、単語の一部、文字など、言語モデルが扱う単位です。言語モデルは文脈に基づいて、続きとして現れ得るトークンやトークン列の確率を推定します。この確率を利用して文章を生成するほか、翻訳や文書要約などの処理にも応用できます。N-gram言語モデルでは、参照する語の並びが長いほど多くの文脈を扱えますが、学習データ内で各並びが現れる頻度は低くなります。そのため、予測結果は学習データの規模や多様性、利用できる文脈の範囲に左右されます。
02 / IN PRACTICE
Language Modelの活用例
たとえば、こんな場面で
文の途中までを入力し、続く可能性がある語句を予測させる用途があります。同じ仕組みは、文章生成、文書要約、別の言語への翻訳にも利用できます。
03 / GOOD TO KNOW
使うときのポイント
モデルを比較するときは、扱える文脈の範囲に加え、学習データの規模と多様性が予測に与える影響を確認します。
参考資料
Machine Learning Glossary | Google for Developers （新しいタブで開きます）Giới thiệu về các mô hình ngôn ngữ lớn | Machine Learning | Google for Developers （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。