トークンとは?生成AIの「言葉の数え方」を解説

トークンとは何か

トークンとは、生成AIが文章を処理する際に扱う、言葉を分割した最小単位のことです。AIの利用料金や、一度に処理できる文章量の上限が、「文字数」ではなく、この「トークン数」を基準に定められていることがよくあります。

「文字数」とは数え方が違う

日本語の場合、1つの単語や文字が、必ずしも1トークンとして数えられるとは限りません。英語であれば、単語の一部(接頭語や語尾など)が1トークンとして分割されることもあり、日本語であっても、ひらがな・カタカナ・漢字それぞれで、1文字あたりのトークン数の換算が異なる場合があります。おおまかな目安として、日本語の場合は「1文字が、およそ1〜2トークン程度に相当する」と言われることが多いですが、正確な数え方はAIのモデルによって異なります。

なぜ文字数ではなく、トークンで数えるのか

生成AIの内部では、文章をそのまま処理するのではなく、一度トークンという単位に分割してから処理を行っています。AIの計算処理そのものがトークン単位で行われているため、料金設定や処理能力の上限も、自然とこのトークン数を基準に定められています。

「レゴブロックに分解する」イメージ

トークンの考え方は、1つの文章を、決まったルールに従ってレゴブロックのパーツに分解する作業に例えるとイメージしやすいかもしれません。分解の仕方(どこで区切るか)は、単純に1文字ずつではなく、AIが学習時に効率的だと判断した単位に基づいています。

私たちの利用にどう影響するのか

• AIサービスの料金プランが「月間◯◯トークンまで」と定められている場合、長い文章のやり取りをするほど、消費されるトークン数が増える
• AIに一度に読み込ませられる文章量にも、「最大◯◯トークンまで」という上限が設定されていることが一般的で、これを超える長さの文章は、一度に処理できない場合がある

運営者自身、最初にこの言葉に触れた時はピンとこなかったのですが、身近な例に置き換えることで理解できるようになりました。同じように感じている方の助けになればと思います。

AI利用料金の見積もりで役立つ考え方

企業からAIサービスの利用料金について相談されるとき、トークンという単位を理解しているかどうかで、コストの見積もり精度が大きく変わります。日本語は英語に比べて1文字あたりのトークン消費量が多くなる傾向があるため、同じ文章量でも想定より早く上限に達してしまうことがあります。「思ったより料金がかさむ」と感じたときは、入力・出力する日本語の分量自体を見直すことも、コスト対策の一つになります。

まとめると

トークンは、生成AIが文章を扱う上での「基本単位」です。文字数とは異なる数え方であることを知っておくと、AIサービスの料金プランや利用制限への理解が深まります。

あわせて読みたい:JWT(JSON Web Token)とは