01 / UNDERSTAND
仕組みと使いどころ
モデルに渡す文章は、単語や文字の一部などの単位に分割されます。この単位がトークンです。どのように分割するかは、言語やモデルの方式によって変わるため、文字数から一律には換算できません。
02 / IN PRACTICE
Tokenの活用例
たとえば、こんな場面で
入力する資料と回答の長さを、トークン数で見積もる。
03 / GOOD TO KNOW
使うときのポイント
長い資料を入力するときは、サービスが提供する計算方法や上限を確認します。文字数だけでなく、回答のために必要な長さも考えておきます。
参考資料
Google Machine Learning Glossary （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。