トークン

トークン（Token）とは、自然言語処理（NLP）やプログラミングの分野で、テキストデータを扱う際の基本的な単位となる要素のことです。特に、大規模言語モデル（LLM）などの生成AIにおいては、テキストを処理する過程で、文章を意味のある小さな単位に分割するために用いられます。この分割された各単位がトークンと呼ばれ、AIが言語を理解し、生成するための基礎となります。

トークンとは（意味・定義）

トークンとは、文章を分割した最小単位のことです。たとえば、「私はラーメンが好きです。」という文をトークンに分割すると、「私」「は」「ラーメン」「が」「好き」「です」「。」といった要素にわけられます。この分割方法は、言語や使用するツールによって異なり、単語、文字、サブワード（単語の一部）などがトークンとして扱われます。

テキストをトークンに分ける処理はトークン化と呼ばれ、AIがテキストデータを効率的に処理し、学習するための前処理として非常に重要なステップです。トークン化によって、AIは単語やフレーズの意味を理解し、文法的な構造を解析することが可能になります。

トークンの3つの種類

単語トークンは、スペースや句読点などの区切り文字で区切られた単語をトークンとする方法です。文字トークンは、文字単位でテキストを分割する方法で、日本語のように単語の区切りが明確でない言語に適しています。サブワードトークンは、単語をさらに細かい単位に分割する方法で、未知語への対応や語彙数の削減に有効です。これらのトークン化手法は、AIモデルの性能や処理効率に大きく影響を与えるため、適切な手法を選択することが重要です。

生成AIにおける役割

生成AIにおいて、トークンは言語モデルがテキストを生成・理解するための基本的な構成要素として機能します。大規模言語モデル（LLM）は、大量のテキストデータを学習し、トークンの出現パターンや文脈を把握することで、自然な文章を生成する能力を獲得します。たとえば、入力されたテキストをトークンに分割し、その文脈に基づいて次につづくトークンを予測することで文章を生成します。

また、トークンは生成AIの性能を評価する指標としても用いられます。たとえば、perplexity（パープレキシティ）という指標は、モデルがテキストを予測する際の不確実性を示すもので、トークン単位での予測精度を測るために使用されます。各トークンを数値の並びに変換して扱う仕組みはエンベディングと関係します。

トークンを扱う際の注意点

• トークン化手法の選択：方法によってAIモデルの性能が大きく左右されるため、適切な手法を選ぶことが重要です
• トークン数の上限：多くのLLMでは一度に処理できるトークンの最大数が決まっています
• 利用料金への影響：一部のクラウドサービスでは、トークン数が多いほどコストが増加する場合があります

処理できるトークンの上限は、モデルが一度に扱える文脈の大きさを決める要因でもあります。あわせてコンテキストウィンドウの項目も参照すると理解が深まります。

よくある誤解

誤解：トークンは必ず単語と一致する

実際は：言語やツールによって分割の単位は異なり、文字単位やサブワード単位になることもあります。

誤解：トークン数は文字数と同じ

実際は：文字数とトークン数は必ずしも一致しません。同じ文章でも分割方法によってトークン数は変わります。

誤解：トークンは日本語だけの概念

実際は：言語を問わず、テキストを扱う処理全般で用いられる基本的な単位です。

FAQ（よくある質問）

Q. トークン数を減らすと何が変わりますか？

A. 処理の上限に収まりやすくなり、サービスによっては利用料金の抑制にもつながります。ただし、表現が失われる場合もあります。

Q. トークンとトークン化の違いは？

A. トークンは分割された要素そのもの、トークン化はテキストをトークンに分ける処理を指します。

関連用語

• トークン化 — テキストをトークンに分ける処理
• 大規模言語モデル（LLM） — トークンを単位に文章を生成するモデル
• コンテキストウィンドウ — 一度に扱えるトークンの範囲に関わる概念

用語の一覧はAI用語辞典トップからたどれます。実際のツール比較はAIツール一覧をご覧ください。

参考出典

• Google Cloud「生成 AI の用語集」: docs.cloud.google.com
• Salesforce「AI用語虎の巻」: salesforce.com
• SHIFT「AI用語集」: service.shiftinc.jp