トークン（AIの言葉の単位）とは？

単語を1つずつ覚えておくやり方だと、覚えていない新しい言葉や、めずらしい名前が出てきたときに困ります。かといって1文字ずつに切ると、どんな言葉でも読めますが、文章がとても長い列になり、あつかうのに手間がかかります。

そこで、よく出てくる並びは大きな1つのかけらに、めずらしい言葉は小さなかけらの組み合わせにします。AIの会社 Anthropic も、大きなかけらは効率がよく、小さなかけらは初めて見る言葉もあつかえる、と説明しています。たとえば英語の「tokenization（トークン化）」は、「token」と「ization」の2つになります（GPT-4o の区切り方）。

人が1つずつ決めるのではなく、たくさんの文章から自動で作ります。よく使われるやり方では、はじめは、いちばん小さな単位を1つずつのかけらにします。そして、文章の中でいちばん多く隣り合っている2つを、1つの新しいかけらにまとめる。これを、かけらの種類が決めた数になるまでくり返します。

たとえば、たくさんの文章の中で「で」のすぐ後に「す」が来ることがとても多ければ、2つをまとめて「です」という1つのかけらにします。実際に GPT-4o の区切り方では、「です」が1つのかけらです。こうして、よく出てくる並びほど、大きな1つのかけらにまとまっていきます。日本語のように、単語の間に空白が無い言葉の文章からも、同じように区切り方を学べます。

日本語でも、文字の数とトークンの数はそろいません。GPT-4o の区切り方では、「私は猫が好きです。」の9文字が「私は」「猫」「が」「好き」「です」「。」の6トークンになり、「トークン」という4文字の言葉は、「ト」「ーク」「ン」の3トークンになりました。

同じ意味でも、言葉がちがうと数もちがいます。英語の「I like cats.」は4トークン、同じ意味の「私は猫が好きです。」は6トークンでした（どちらも GPT-4o の区切り方）。前の GPT-4 の区切り方では、同じ日本語の文が10トークンになり、「猫」の1文字が3つに分かれました（わけは図の説明に）。

1つは、AIが一度に読み書きできる量の上限です。これを「コンテキストウィンドウ」といい、AIの「作業用の記憶」のようなものです（Anthropic の説明）。たとえば Claude の新しいモデルでは、100万トークンです（2026年11月）。Google の説明書は、100万トークンを「ふつうの長さの英語の小説8冊分」などとたとえています（英語の場合。言葉がちがえばトークンの数も変わります）。長い資料を読ませると、入りきらないこともあります。

もう1つは料金です。AIを使った量だけ払うしくみ（会社が自分のアプリにAIを組み込むときなど）では、料金はトークンの数で決まり、読ませた分と書かせた分を別々に数えます。Claude では、書かせる分が、読ませる分の5倍の値段です（2026年11月）。

ふつうは、AIが返事を書くたびに、それまでのやりとりを最初から全部読むからです（Anthropic の説明）。会話が10往復なら、10回目の返事では、前の9往復分もまとめて読みます。アプリによっては、古い部分を消したり、短くまとめたりして、読む量をおさえることもあります。

そのため長い会話では、上限に近づくだけでなく、トークンが増えるほど、前のほうの話を正しく思い出しにくくなることもある、と Anthropic は書いています。話が変わったら新しい会話にすると、読む量が減ります。

ちがうものです。英語の token は、もともと「しるし」という意味の言葉（古英語の tācn）で、お金の代わりのコインなども指します。分野ごとに、別のものをトークンと呼びます。

暗号資産（仮想通貨）の話では、だれが持っているかを記録できる、デジタルのしるし。ログインの仕組みでは、アプリが決められた範囲のことを、決められた間だけしてよい、という許可を表す文字列です。AIの話のトークンは、ふつう、このページの「言葉のかけら」のことです。