科学なるほど新聞English

トップ › 用語集 › AI

事前学習(AIが、まず大量の文章から言葉を学ぶ段階)とは?

別の呼び名:Pre-training、プレトレーニング

用語解説 ・ 確かめた日 2026年11月16日 ・ 読む 14分

1分で解説

事前学習とは、大規模言語モデル(ChatGPT などの中で文章を作るAI)を作る最初の段階で、大量の文章で「次に来る言葉」を当てる練習を繰り返させることです。

例えば「むかしむかし、あるところに」の続きを当て、本当の続き「おじいさん」と比べます。外れたら、AIの中で計算に使うたくさんの数(パラメーター)を、当たりやすい向きに少し変えます。答えは文章にあるので、人が正解を付けずに練習できます。近年の大きなAIは、言葉のかけら(トークン。英語なら平均4文字ほど)を十数兆個、英語の小説にして約1億冊分も読みます。

こうして、言葉の使い方や多くの知識を身に付けた「土台のモデル」(学び終えたAIの本体)ができます。ただ、土台のモデルは、頼みに答えるより、文章の続きを書きがちです。そこで、事前学習の後の学習(事後学習)で、頼みに答える助手のAIに仕上げます。ファインチューニングは、そのやり方の1つです。

よくある思い込み

「事前学習で、AIはネットの文章を丸ごと覚えている」

一部だけ合っています。AIは、読んだ文章をファイルのように1つずつしまっているわけではありません。事前学習でしているのは、続きを当てる練習に合わせて、中の数の値を少しずつ直すことです。ただ、何度も出てくる文章や一部の文章は、そのまま書けてしまうことがあります。2022年の研究は、中の数(パラメーター)が60億個のAIに、学習に使った文章の初めの部分を見せ、続きの50トークンがそのまま出てくるかを試しました。試した文章から見積もると、そのまま書けた文章は、学習データ全体の少なくとも1%でした。多くの文章はそのままでは書けませんでしたが、データの中に何度も出てくる文章ほど、また大きなAIほど、そのまま書きやすく、数回しか出てこない文章をそのまま書くことはまれでした。それでも2020年の研究では、学習データの中の1つの文書にしか無かった、ネットに載っていた人の名前や電話番号などを、AIに書かせられた例がありました。まとめると、多くの文章はそのままではしまっていませんが、何度も読んだ文章や一部の文章は、続きとしてそのまま出てくることがあるのです。

図で解説

「次の言葉当て」の1回の練習を、左から4つの段で描いた図(文は、このページで作った例)。題「答えは、文章そのものに書いてある」。①「続きを隠す」:紙に「むかしむかし、あるところに」と書かれ、その続きにオレンジの付せん「???」が貼ってある。②「続きを当てる」:ロボットのAIが、考えの吹き出しで「お姫さま?」と当てる。③「答え合わせ」:同じ紙の付せんの所に、オレンジの枠で「おじいさん」が見えている。その下の点線の札「選んだ:お姫さま」に✕の印。④「中の数を直す」:つまみが6つ並んだ板に「パラメーター」の名札。真ん中の上のつまみに、回す向きのオレンジの矢印。④から①へ戻る矢印に「1つ先の言葉へずらして、また当てる(何兆回も)」。一番下の帯:答えは文章の中にあるので、正解を付ける人は要らない。
事前学習の「次の言葉当て」1回分を、左から順に描いた図です。①紙に書かれた文の続きを、オレンジの付せんで隠します。②ロボットのAIが、続きの言葉を当てます。ここでは「お姫さま」を選びました。③付せんの下の本当の続き「おじいさん」と比べると、外れでした。④AIは、次は「おじいさん」が出やすくなる向きへ、中の数(パラメーター。つまみの絵)を少しずつ回します。答えは紙の文に書いてあるので、正解を付ける人は要りません。下の矢印のように、1つ先の言葉へずらして、また当てる練習を、何兆回も繰り返します。
AIができるまでの流れと、作るのに使った計算の量の図。題「InstructGPT を作った計算の大部分は、事前学習」。上の段:左から、紙と本とプログラムの絵「大量の文章(Web・本・プログラム)」→ オレンジの枠で囲み、上に「ここ」の札を付けた「事前学習(次の言葉当て)」(本を読むロボット)→ ロボット「土台のモデル(文章の続きを書く)」→ ○と×のカードを持つ人「事後学習(ファインチューニングなど)」→ 吹き出し「はい」のロボット「助手のAI(頼みに答える)」。点線で区切った下の段:「作るのに使った計算の量(GPT-3 の事前学習を100としたとき)」と、その下の小さな注「論文の値は順に3640・4.9・60(単位はペタフロップス・日)」(1秒に1000兆回の計算を、1日続けた量)。横の棒が3本で、「事前学習」100(紺の長い棒)、「事後学習(お手本)」約0.1(オレンジの、ごく細い棒。見えるように実際より少し太く描いた)、「事後学習(強化学習)」約1.6(オレンジの短い棒)。一番下の帯:事後学習の計算は、2つ合わせても事前学習の2%足らず。
AIができるまでの流れ(上)と、作るのに使った計算の量(下)を表した図です。上の段では、Webのページ・本・プログラムなどの大量の文章を、オレンジの枠の事前学習で読んで土台のモデルを作り、事後学習(○と×のカードの人)で、頼みに答える助手のAIにします。InstructGPT の事後学習は、お手本の答えで学ぶ学習と、強化学習(人が良いと選んだ答えをもとに点を付け、点が上がるように学ばせるやり方)の2つでした。下の段の棒は、2022年の InstructGPT の論文に載った計算の量を、GPT-3 の事前学習を100として表したものです。お手本で学ぶ事後学習は約0.1、強化学習は約1.6で、2つを合わせても2に届きません。
同じ頼みに、事前学習だけをしたモデルと、事後学習もしたAIが返した文を比べた図(2022年の論文に載った例。頼みも答えもフランス語で、日本語にして短くした)。題「事前学習だけのAIは、頼みに答えず続きを書いた」。上に人の絵と吹き出し「古代ギリシャへ時間旅行するカエルの短いお話を、フランス語で書いて」。矢印が左右のロボットへ分かれる。左のロボット「土台のモデル(GPT-3・事前学習だけ)」の下の点線の枠「お話は書かず、似た頼みを書き続けた」:「神々の遊びを知りたがる子のお話を書いて。」「遠い昔で冒険する若者のお話を書いて。」「想像の友だちと時を旅する子のお話を書いて。」…。右のロボット「助手のAI(InstructGPT・事後学習も)」の下のオレンジの実線の枠「頼みどおり、カエルのお話を書いた」:「カエルは道に迷い、疲れきっていた。目当ては、時を旅して古代ギリシャにたどり着くこと、ただ1つ。…」。一番下の帯:事前学習だけでは、頼みに答えるより、文章の続きを書きがち。
事前学習でAIが身に付けるのは、頼みに答える力より、文章の続きを書く力です。そのことを、同じ頼みへの2つのAIの答えで確かめる図です(2022年の論文に載った例を、日本語にして短くしたもの)。頼みは「古代ギリシャへ時間旅行するカエルの短いお話を、フランス語で書いて」で、フランス語で書かれていました。事前学習だけをした土台のモデル(左のロボット、GPT-3)は、カエルのお話を書かずに、「〜のお話を書いて」という似た頼みを書き続けました(点線の枠)。頼みの文を文章の書き出しと見て、その続きを書いたように見えます。その後に事後学習もした助手のAI(右のロボット、InstructGPT)は、頼みどおりカエルのお話をフランス語で書きました(実線の枠)。頼みに答える助手に仕上げるのは、事前学習の後の事後学習なのです。

図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。

たとえるなら

仕事に就く前に、図書館の本を読み尽くす人

ある人が、仕事に就く前に、図書館の本を片っ端から読む時期を過ごしたとします。物語も、新聞も、料理の本も、プログラムの本も読みます。読むうちに、言葉の使い方や、世の中のいろいろなことが身に付きます。これが事前学習に当たります。

その後、この人はお店で働き始め、お客さんの質問にどう答えるかを、研修で教わります。読書で身に付けた土台があるので、研修は短くて済みます。この研修に当たるのが、事後学習です。研修の前のこの人は、物知りでも、お客さんへの答え方はまだ知りません。

ただ、たとえが合わないところもあります。人は意味を考えながら読みますが、事前学習でAIがするのは、隠した次の言葉を当てる練習の繰り返しです。読む量も桁違いです。目安で数え直すと、英語の小説で1億冊を超える量を読むAIもあります。また、人は働き始めてからも新聞を読み続けますが、AIの知識は、主に事前学習の文章を集めた時点までのものです。

ポイント解説

なぜ「事前」学習と呼ぶの?

目的ごとの学習の「前に」する学習だからです。英語では pre-training と言い、pre は「前の」、training は「訓練」という意味です。2018年の最初の GPT の論文は、学び方を2段に分けました。まず、答えの付いていない大量の文章で続きを当てる練習をさせ、AIの中の数(パラメーター)の出発点を作ります。次に、その数を、目的の課題(2つの文の意味が似ているかを見分ける、など)に合わせて、正解の付いたデータで調整します。同じ年に発表された別のAIの論文も、学び方は「事前学習」と「ファインチューニング」の2段だ、と書いています。

前もって学ばせておく形は、写真の分野でも使われていました。写真を見分けるAIでは、たくさんの写真で前もって学ばせたモデルを、目的に合わせて調整するやり方が効果的でした。

ChatGPT の GPT は、Generative Pre-trained Transformer(文章を作る、事前学習した、トランスフォーマー)の略です。真ん中の P が pre-trained、つまり「事前学習した」です。トランスフォーマーは、AIの中の計算の仕組みの名前です(詳しくは「トランスフォーマー」のページ)。

なぜ「次の言葉当て」で賢くなるの?

続きを当て続けるには、言葉の決まりだけでなく、世の中のことや話の筋も分かっている必要があるからです。例えば「水を冷やし続けると、やがて」の続きを当てるには、水が氷になることを知っていないといけません。

でも、AIがするのは中の数を少しずつ直すことだけなのに、なぜ知識が入るのでしょう。次の言葉をよく当てるには、言葉どうしのつながりや世の中の決まりを、中の数に表しておくほど有利です。膨大な文章で数を直し続けるうちに、そうした関係が数の並びにしみ込んでいく、と考えられています。2018年の最初の GPT の論文も、続きをうまく当てるために、AIが多くの課題のやり方まで身に付けるのではないか、という見方を書いています。ここまでは、実験で確かめた事実ではなく、そう考えられている、という説明です。

実験で分かったこともあります。その論文では、課題に合わせた調整をしないままのAIに課題を解かせると、事前学習が進むにつれて、成績が少しずつ上がりました。また、事前学習をせず、目的の課題のデータだけで学ばせると、8つの課題(文が文法として正しいかの見分けや、2つの文の意味が似ているかの見分けなど)のどれでも成績が下がりました。8つの課題の点(どれも100点が満点)の平均は、事前学習をしたときの74.7点から59.9点になりました。

答えが文章そのものにあることも大事です。人が正解を付けたデータは、作るのに手間とお金がかかり、量に限りがあります。続きを当てる練習なら、文章さえあれば、問題をいくらでも作れます。2018年に発表された別のAIは、文章の中のトークン(言葉のかけら)の15%を隠して当てる穴埋めなどで事前学習しました。やり方は違っても、答えは文章の中にあります。

どれくらいの量の文章を読むの?

AIが大きくなるにつれて、桁違いに増えてきました。2018年の最初の GPT が読んだのは、冒険・ファンタジー・恋愛など、いろいろな分野の、出版社から出ていない本7000冊余りの文章でした。2020年の GPT-3 は、3000億トークン(トークンは、AIが文章を区切る言葉のかけら)を読みました。学ぶときに使った割合は、Webのページから集めた文章が約8割、本が16%、ウィキペディアが3%でした。

2024年に発表された別の会社のAIで一番大きなものは、15.6兆トークンを読みました。GPT-3 の50倍を超えます。100万トークンを英語の小説8冊とする目安で数え直すと、約1億2500万冊分です。中身は、トークンの数で、およそ半分が世の中の広い知識、25%が数学と筋道を立てて考える文章、17%がプログラム、8%が英語以外の言葉でした。読ませる前に、同じ文章の重なりを除いたり、個人の情報の多いサイトを外したりして、文章を選んでいます。誰でも書けるWebのページを集めるので、わざと細工した文章が混ざる心配もあります(詳しくは「データポイズニング」のページ)。

ただ、たくさん読ませればよい、というだけではありません。2022年の研究は、計算の量を一番うまく使うには、中の数と読ませるトークンを同じ割合で増やすのがよい、と示しました。同じ計算の量なら、中の数を増やしすぎるより、読ませる文章を増やした方がよかったのです。中の数が700億個のAIは、1.4兆トークンを読み、同じ計算の量で3000億トークンを読んだ、中の数が2800億個のAIを、多くの試験で上回りました(詳しくは「パラメーター」のページ)。

ファインチューニングとは、どう違うの?

事前学習は、どの目的にも役立つ土台を、大量の文章から作る段階です。事前学習の後にする学習は、まとめて事後学習と呼ばれます。チャットAIでは、頼みに従う、人の好みに沿う、プログラムを書くなどの力を伸ばすための段階です。ファインチューニングは、できた土台の中の数を出発点にして、目的に合わせた、ずっと少ないデータで調整するやり方で、事後学習にも、ほかの目的(決まった課題に合わせる、など)にも使います。

使う量の差は大きなものです。GPT-3 が事前学習で3000億トークンを読んだのに対し、2022年の InstructGPT で、お手本の答えで学ぶ事後学習に使った頼みは、約1万3000件でした。その論文に載った計算の量を、GPT-3 の事前学習を100として比べると、お手本の答えで学ぶ事後学習は約0.1、強化学習(人が良いと選んだ答えをもとに点を付け、点が上がるように学ばせるやり方)で学ぶ事後学習は約1.6でした。2つを合わせても2に届きません。InstructGPT を作った計算の多くは、事前学習に使われたのです。

力の多くも、事前学習で身に付くと見られています。2023年、GPT-4 を作った会社は、GPT-4 が試験で見せた力は主に事前学習から来ているようで、人の評価を使った強化学習ではあまり変わらなかった、と書いています(会社の説明)。ファインチューニングの詳しいことは、「ファインチューニング」のページにあります。

事前学習だけのAIは、どう答えるの?

頼みに答えるとは限らず、文章の続きを書きます。2022年の InstructGPT の論文に、こんな例があります。事前学習だけの GPT-3 に、フランス語で「古代ギリシャへ時間旅行するカエルの短いお話を、フランス語で書いて」と頼みました。GPT-3 はお話を書かずに、「神々の遊びを何でも知りたがる子どものお話を書いて」「遠い昔に冒険をする若者のお話を書いて」のような、似た頼みの文を続けて書きました。事後学習もした InstructGPT は、カエルのお話をフランス語で書きました。

プログラムについて「下のプログラムの中の、C という名前の数の並びは何のため?」と聞いた例でも、GPT-3 は答えずに、A〜D の4つの選択肢を並べた、テストの問題のような文を書きました(この問いに答えたのは、半分ほどの回でした)。論文は、言葉のAIの練習の目当て(Webのページで次のトークンを当てること)は、「使う人の頼みに、役に立つように、安全に従うこと」とは違う、と書いています。2024年に発表された別の会社のAIの論文も、事前学習を終えたモデルは、言葉をよく理解しているが、まだ頼みに従わず、助手らしく振る舞うこともない、と書いています。

ただ、土台のモデルも、頼み方を工夫すれば、いろいろなことができます。2020年の GPT-3 の論文は、中の数を変えないまま、やってほしいことの例をいくつか頼みの文に入れて見せるだけで、多くの課題をこなせることを示しました。

AIが最近の出来事を知らないことがあるのはなぜ?

AIの知識の多くは、事前学習で読んだ文章から来ているからです。事前学習の文章は、ある時点までに集めたものなので、その後に起きた出来事は入っていません。この時点が、AIの知識の締め切りになります。

例えば、GPT-4 を作った会社は2023年、GPT-4 は事前学習のデータのほとんどが2021年9月で切れているため、その後の出来事をあまり知らない、と書いています。2024年に発表された別の会社のAIの論文は、事前学習のデータを、2023年の終わりまでの知識を含むもの、と書いています。

AIは、話しているうちに新しいことを学んで、中の数を書き換えるわけでもありません。GPT-4 の報告書も、GPT-4 は経験から学ばない、と書いています。新しいことに答えさせるには、作る側が新しい文章で学ばせ直すか、ネット検索などの道具で調べさせます(詳しくは「大規模言語モデル」のページ)。

確認問題

  1. 問1GPT-3 は、事前学習の後に事後学習をして、頼みに答えるAI(InstructGPT)に仕上げられた。2022年の論文に載った計算の量で比べると、事後学習の計算は、全部で事前学習のどれくらいだった?

    答えと解説

    答え:B 事前学習の2%ほど

    GPT-3 の事前学習の計算を100とすると、事後学習は、お手本の答えで学ぶ学習が約0.1、強化学習が約1.6でした。2つを合わせても2に届かず、事前学習の2%足らずです。InstructGPT を作った計算の多くは、大量の文章を読む事前学習に使われました。

    くわしくは → ポイント解説:ファインチューニングとは、どう違うの?

  2. 問22022年の論文で、事前学習だけをした GPT-3 に、フランス語で「古代ギリシャへ時間旅行するカエルの短いお話を、フランス語で書いて」と頼んだ。GPT-3 はお話を書かなかった。代わりに、どんな文を書いた?

    答えと解説

    答え:A 別のお話を頼む、似た頼みの文

    GPT-3 は、「神々の遊びを何でも知りたがる子どものお話を書いて」「遠い昔に冒険をする若者のお話を書いて」のような、似た頼みの文を続けて書きました。事前学習で練習してきたのは、頼みに従うことではなく、文章の続きを当てることです。頼みの文を文章の書き出しと見て、その続きを書いたように見えます。事後学習もした InstructGPT は、カエルのお話をフランス語で書きました。

    くわしくは → ポイント解説:事前学習だけのAIは、どう答えるの?

  3. 問32018年の最初の GPT の論文で、同じ仕組み・同じ大きさのAIを2つ用意した。1つは事前学習をしてから、もう1つは事前学習をせずに、どちらも目的の課題のデータで学ばせ、8つの課題で成績を比べた。事前学習をしなかったAIの成績は、どうだった?

    答えと解説

    答え:C どの課題でも、成績が下がった

    事前学習をしなかったAIは、8つの課題(文が文法として正しいかの見分けや、2つの文の意味が似ているかの見分けなど)のどれでも成績が下がりました。8つの点(どれも100点が満点)の平均は、事前学習をしたときの74.7点から59.9点になりました。論文は、続きを当てる練習の中で、AIが多くの課題に役立つ力まで身に付けるのではないか、と見ています。

    くわしくは → ポイント解説:なぜ「次の言葉当て」で賢くなるの?

参考文献と確かめ方

このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月16日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。

AIの用語

AIの用語をすべて見る(58) →