大規模言語モデル（LLM）とは？

文の続きに、どの言葉がどれくらい来やすいかを計算するしくみです。たとえば「池の水は、とても」の続きなら、「きれい」や「つめたい」は来やすく、「冷蔵庫」は来にくいですよね。言語モデルは、こうした来やすさを、確率（どれくらい起こりやすいかを表す数）で表します。

選ぶときは、いつも確率がいちばん高い言葉にするとはかぎりません。確率の高い言葉ほど出やすいくじ引きのように選ぶのがふつうだ、と教科書は説明しています。だから、同じ質問でも、答えの文が変わることがあります。

言語モデルそのものは昔からあり、話した声を文字にするしくみなどに使われてきました。昔のものは、しくみの簡単なものでした。いまの LLM は、それをずっと大きく、複雑にしたものです。

LLM は、言葉を数に置きかえて、たくさんの掛け算や足し算をして、次の言葉の確率を出します。そのときに使う数が、パラメーターです。音量のつまみのように、少し回すと、結果が少し変わります。ただし、1つのつまみが1つの言葉や知識を受け持つのではなく、たくさんのつまみがいっしょに計算に使われます。

学ぶときは、文章の続きを当てさせて、正しい言葉の確率が上がる向きへ、つまみを少しずつ回します。これを、ものすごくたくさんの文章でくり返すうちに、つまみが合っていきます。人が1つずつ回すのではありません。学ぶ文章の量は、「トークン」（文章を細かく切ったかけら）の数で数えます。

つまみの数がどれくらい増えてきたかは、上の「大規模」の図にあります。大きくして、たくさん学ばせるほど性能が上がりやすい、と教科書は説明しています。

ぴったり同じではありません。LLM は、チャットAIの中で文章を作る、頭脳にあたる部分です。ChatGPT は、OpenAI という会社のチャットAIの名前です。最初の ChatGPT（2022年11月）は、OpenAI の LLM「GPT-3.5」のなかまを、会話向けにさらに学ばせて作られました。Claude や Gemini は、LLM の名前でもあり、それを使ったチャットAIの名前でもあります。

たくさんの文章で学んだだけの LLM は、質問に答えずに、似た質問を書いてしまうことがありました。そこで、質問と答えの手本や、人が良いと選んだ答えを使って、さらに学ばせます（仕上げの学習）。OpenAI の2022年の研究では、仕上げの学習をした、つまみが13億個のモデルの答えのほうが、つまみが1750億個の GPT-3 の答えより、人に好まれました。大きくするだけでは、頼んだとおりに答えるのがうまくなるとはかぎらない、と研究者は書いています。

続きを当てるには、知識も要るからです。たとえば「日本の首都は」の続きを当てるには、「東京」を知っていないといけません。たくさんの文章で続きを当てる練習をくり返すうちに、LLM は、言葉の使い方だけでなく、世の中のことも身につけていく、と教科書は説明しています。質問をされると、その質問を文章の始まりとして、答えにあたる続きを書きます。

この答え方は、人が1つずつ書き込んだものではありません。Claude を作っている Anthropic という会社は「Claude のような言語モデルは、人が直接プログラムするのではなく、大量のデータで学ぶ」と書いています。中でどう計算しているのかは、作った会社にもまだ多くが分かっていない、とも書いています。同じ会社の研究では、Claude が、覚えた答えをそのまま写すのではなく、別々に知っていることを中で組み合わせて答えている様子も見つかっています（たとえば「ダラスはテキサス州にある」と「テキサス州の州都はオースティン」を組み合わせる）。

LLM が選ぶのは「よく続く言葉」で、それがいつも正しいとはかぎりません。こうして事実とちがう文を書いてしまうこと（とくに、実在しない人や事実を作ってしまうこと）を、「ハルシネーション」と呼びます。英語で「幻覚」という意味の言葉です。

2025年の論文で研究者たちは、むずかしい試験で生徒が当てずっぽうに答えるように、LLM も自信がないときに推測で答えてしまうことがある、と説明しています。学習や採点のしかたが、「分かりません」と言うより、推測でも答えるほうを高く評価しがちだからだ、というのが論文の考えです。

また、学び終えた後に起きたことは、知らないことがあります。たとえば OpenAI の GPT-4（2023年）は、学んだデータのほとんどが2021年9月までのものでした。ネット検索の道具を使えるAIなら、新しい情報を調べて、出典を示しながら答えられます。ただ、2025年の同じ論文は、検索を使うとまちがいは減るものの、なくなるわけではない、とも書いています。

話しているだけでは、ふつう LLM のパラメーター（つまみ）は変わりません。会話の中で見せた例をまねて答えることはできますが、教科書によると、それはその会話の中だけのことで、会話が終わっても、LLM の中には残りません。

つまみが変わるのは、作る側が学ばせ直したり、追加で学ばせたりして、モデルを新しくしたときです。

あります。AIとは関係のない、法律の分野の言葉です。大学院で法律を深く学んだ人がもらう「法学修士」という学位（学んだことを示す称号）があり、英語では Master of Laws といい、LL.M. や LLM と略します。たとえばアメリカのハーバード大学には、1年で学ぶ LL.M. の課程があります。AIの話で出てくる LLM は、ふつう大規模言語モデルのことです。