事前学習(AIが、まず大量の文章から言葉を学ぶ段階)とは?
別の呼び名:Pre-training、プレトレーニング
1分で解説
事前学習とは、大規模言語モデル(ChatGPT などの中で文章を作るAI)を作る最初の段階で、大量の文章で「次に来る言葉」を当てる練習を繰り返させることです。
例えば「むかしむかし、あるところに」の続きを当て、本当の続き「おじいさん」と比べます。外れたら、AIの中で計算に使うたくさんの数(パラメーター)を、当たりやすい向きに少し変えます。答えは文章にあるので、人が正解を付けずに練習できます。近年の大きなAIは、言葉のかけら(トークン。英語なら平均4文字ほど)を十数兆個、英語の小説にして約1億冊分も読みます。
こうして、言葉の使い方や多くの知識を身に付けた「土台のモデル」(学び終えたAIの本体)ができます。ただ、土台のモデルは、頼みに答えるより、文章の続きを書きがちです。そこで、事前学習の後の学習(事後学習)で、頼みに答える助手のAIに仕上げます。ファインチューニングは、そのやり方の1つです。
よくある思い込み
「事前学習で、AIはネットの文章を丸ごと覚えている」
一部だけ合っています。AIは、読んだ文章をファイルのように1つずつしまっているわけではありません。事前学習でしているのは、続きを当てる練習に合わせて、中の数の値を少しずつ直すことです。ただ、何度も出てくる文章や一部の文章は、そのまま書けてしまうことがあります。2022年の研究は、中の数(パラメーター)が60億個のAIに、学習に使った文章の初めの部分を見せ、続きの50トークンがそのまま出てくるかを試しました。試した文章から見積もると、そのまま書けた文章は、学習データ全体の少なくとも1%でした。多くの文章はそのままでは書けませんでしたが、データの中に何度も出てくる文章ほど、また大きなAIほど、そのまま書きやすく、数回しか出てこない文章をそのまま書くことはまれでした。それでも2020年の研究では、学習データの中の1つの文書にしか無かった、ネットに載っていた人の名前や電話番号などを、AIに書かせられた例がありました。まとめると、多くの文章はそのままではしまっていませんが、何度も読んだ文章や一部の文章は、続きとしてそのまま出てくることがあるのです。
図で解説
図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。
たとえるなら
仕事に就く前に、図書館の本を読み尽くす人
ある人が、仕事に就く前に、図書館の本を片っ端から読む時期を過ごしたとします。物語も、新聞も、料理の本も、プログラムの本も読みます。読むうちに、言葉の使い方や、世の中のいろいろなことが身に付きます。これが事前学習に当たります。
その後、この人はお店で働き始め、お客さんの質問にどう答えるかを、研修で教わります。読書で身に付けた土台があるので、研修は短くて済みます。この研修に当たるのが、事後学習です。研修の前のこの人は、物知りでも、お客さんへの答え方はまだ知りません。
ただ、たとえが合わないところもあります。人は意味を考えながら読みますが、事前学習でAIがするのは、隠した次の言葉を当てる練習の繰り返しです。読む量も桁違いです。目安で数え直すと、英語の小説で1億冊を超える量を読むAIもあります。また、人は働き始めてからも新聞を読み続けますが、AIの知識は、主に事前学習の文章を集めた時点までのものです。
ポイント解説
なぜ「事前」学習と呼ぶの?
目的ごとの学習の「前に」する学習だからです。英語では pre-training と言い、pre は「前の」、training は「訓練」という意味です。2018年の最初の GPT の論文は、学び方を2段に分けました。まず、答えの付いていない大量の文章で続きを当てる練習をさせ、AIの中の数(パラメーター)の出発点を作ります。次に、その数を、目的の課題(2つの文の意味が似ているかを見分ける、など)に合わせて、正解の付いたデータで調整します。同じ年に発表された別のAIの論文も、学び方は「事前学習」と「ファインチューニング」の2段だ、と書いています。
前もって学ばせておく形は、写真の分野でも使われていました。写真を見分けるAIでは、たくさんの写真で前もって学ばせたモデルを、目的に合わせて調整するやり方が効果的でした。
ChatGPT の GPT は、Generative Pre-trained Transformer(文章を作る、事前学習した、トランスフォーマー)の略です。真ん中の P が pre-trained、つまり「事前学習した」です。トランスフォーマーは、AIの中の計算の仕組みの名前です(詳しくは「トランスフォーマー」のページ)。
なぜ「次の言葉当て」で賢くなるの?
続きを当て続けるには、言葉の決まりだけでなく、世の中のことや話の筋も分かっている必要があるからです。例えば「水を冷やし続けると、やがて」の続きを当てるには、水が氷になることを知っていないといけません。
でも、AIがするのは中の数を少しずつ直すことだけなのに、なぜ知識が入るのでしょう。次の言葉をよく当てるには、言葉どうしのつながりや世の中の決まりを、中の数に表しておくほど有利です。膨大な文章で数を直し続けるうちに、そうした関係が数の並びにしみ込んでいく、と考えられています。2018年の最初の GPT の論文も、続きをうまく当てるために、AIが多くの課題のやり方まで身に付けるのではないか、という見方を書いています。ここまでは、実験で確かめた事実ではなく、そう考えられている、という説明です。
実験で分かったこともあります。その論文では、課題に合わせた調整をしないままのAIに課題を解かせると、事前学習が進むにつれて、成績が少しずつ上がりました。また、事前学習をせず、目的の課題のデータだけで学ばせると、8つの課題(文が文法として正しいかの見分けや、2つの文の意味が似ているかの見分けなど)のどれでも成績が下がりました。8つの課題の点(どれも100点が満点)の平均は、事前学習をしたときの74.7点から59.9点になりました。
答えが文章そのものにあることも大事です。人が正解を付けたデータは、作るのに手間とお金がかかり、量に限りがあります。続きを当てる練習なら、文章さえあれば、問題をいくらでも作れます。2018年に発表された別のAIは、文章の中のトークン(言葉のかけら)の15%を隠して当てる穴埋めなどで事前学習しました。やり方は違っても、答えは文章の中にあります。
どれくらいの量の文章を読むの?
AIが大きくなるにつれて、桁違いに増えてきました。2018年の最初の GPT が読んだのは、冒険・ファンタジー・恋愛など、いろいろな分野の、出版社から出ていない本7000冊余りの文章でした。2020年の GPT-3 は、3000億トークン(トークンは、AIが文章を区切る言葉のかけら)を読みました。学ぶときに使った割合は、Webのページから集めた文章が約8割、本が16%、ウィキペディアが3%でした。
2024年に発表された別の会社のAIで一番大きなものは、15.6兆トークンを読みました。GPT-3 の50倍を超えます。100万トークンを英語の小説8冊とする目安で数え直すと、約1億2500万冊分です。中身は、トークンの数で、およそ半分が世の中の広い知識、25%が数学と筋道を立てて考える文章、17%がプログラム、8%が英語以外の言葉でした。読ませる前に、同じ文章の重なりを除いたり、個人の情報の多いサイトを外したりして、文章を選んでいます。誰でも書けるWebのページを集めるので、わざと細工した文章が混ざる心配もあります(詳しくは「データポイズニング」のページ)。
ただ、たくさん読ませればよい、というだけではありません。2022年の研究は、計算の量を一番うまく使うには、中の数と読ませるトークンを同じ割合で増やすのがよい、と示しました。同じ計算の量なら、中の数を増やしすぎるより、読ませる文章を増やした方がよかったのです。中の数が700億個のAIは、1.4兆トークンを読み、同じ計算の量で3000億トークンを読んだ、中の数が2800億個のAIを、多くの試験で上回りました(詳しくは「パラメーター」のページ)。
ファインチューニングとは、どう違うの?
事前学習は、どの目的にも役立つ土台を、大量の文章から作る段階です。事前学習の後にする学習は、まとめて事後学習と呼ばれます。チャットAIでは、頼みに従う、人の好みに沿う、プログラムを書くなどの力を伸ばすための段階です。ファインチューニングは、できた土台の中の数を出発点にして、目的に合わせた、ずっと少ないデータで調整するやり方で、事後学習にも、ほかの目的(決まった課題に合わせる、など)にも使います。
使う量の差は大きなものです。GPT-3 が事前学習で3000億トークンを読んだのに対し、2022年の InstructGPT で、お手本の答えで学ぶ事後学習に使った頼みは、約1万3000件でした。その論文に載った計算の量を、GPT-3 の事前学習を100として比べると、お手本の答えで学ぶ事後学習は約0.1、強化学習(人が良いと選んだ答えをもとに点を付け、点が上がるように学ばせるやり方)で学ぶ事後学習は約1.6でした。2つを合わせても2に届きません。InstructGPT を作った計算の多くは、事前学習に使われたのです。
力の多くも、事前学習で身に付くと見られています。2023年、GPT-4 を作った会社は、GPT-4 が試験で見せた力は主に事前学習から来ているようで、人の評価を使った強化学習ではあまり変わらなかった、と書いています(会社の説明)。ファインチューニングの詳しいことは、「ファインチューニング」のページにあります。
事前学習だけのAIは、どう答えるの?
頼みに答えるとは限らず、文章の続きを書きます。2022年の InstructGPT の論文に、こんな例があります。事前学習だけの GPT-3 に、フランス語で「古代ギリシャへ時間旅行するカエルの短いお話を、フランス語で書いて」と頼みました。GPT-3 はお話を書かずに、「神々の遊びを何でも知りたがる子どものお話を書いて」「遠い昔に冒険をする若者のお話を書いて」のような、似た頼みの文を続けて書きました。事後学習もした InstructGPT は、カエルのお話をフランス語で書きました。
プログラムについて「下のプログラムの中の、C という名前の数の並びは何のため?」と聞いた例でも、GPT-3 は答えずに、A〜D の4つの選択肢を並べた、テストの問題のような文を書きました(この問いに答えたのは、半分ほどの回でした)。論文は、言葉のAIの練習の目当て(Webのページで次のトークンを当てること)は、「使う人の頼みに、役に立つように、安全に従うこと」とは違う、と書いています。2024年に発表された別の会社のAIの論文も、事前学習を終えたモデルは、言葉をよく理解しているが、まだ頼みに従わず、助手らしく振る舞うこともない、と書いています。
ただ、土台のモデルも、頼み方を工夫すれば、いろいろなことができます。2020年の GPT-3 の論文は、中の数を変えないまま、やってほしいことの例をいくつか頼みの文に入れて見せるだけで、多くの課題をこなせることを示しました。
AIが最近の出来事を知らないことがあるのはなぜ?
AIの知識の多くは、事前学習で読んだ文章から来ているからです。事前学習の文章は、ある時点までに集めたものなので、その後に起きた出来事は入っていません。この時点が、AIの知識の締め切りになります。
例えば、GPT-4 を作った会社は2023年、GPT-4 は事前学習のデータのほとんどが2021年9月で切れているため、その後の出来事をあまり知らない、と書いています。2024年に発表された別の会社のAIの論文は、事前学習のデータを、2023年の終わりまでの知識を含むもの、と書いています。
AIは、話しているうちに新しいことを学んで、中の数を書き換えるわけでもありません。GPT-4 の報告書も、GPT-4 は経験から学ばない、と書いています。新しいことに答えさせるには、作る側が新しい文章で学ばせ直すか、ネット検索などの道具で調べさせます(詳しくは「大規模言語モデル」のページ)。
確認問題
問1GPT-3 は、事前学習の後に事後学習をして、頼みに答えるAI(InstructGPT)に仕上げられた。2022年の論文に載った計算の量で比べると、事後学習の計算は、全部で事前学習のどれくらいだった?
答えと解説
答え:B 事前学習の2%ほど
GPT-3 の事前学習の計算を100とすると、事後学習は、お手本の答えで学ぶ学習が約0.1、強化学習が約1.6でした。2つを合わせても2に届かず、事前学習の2%足らずです。InstructGPT を作った計算の多くは、大量の文章を読む事前学習に使われました。
問22022年の論文で、事前学習だけをした GPT-3 に、フランス語で「古代ギリシャへ時間旅行するカエルの短いお話を、フランス語で書いて」と頼んだ。GPT-3 はお話を書かなかった。代わりに、どんな文を書いた?
答えと解説
答え:A 別のお話を頼む、似た頼みの文
GPT-3 は、「神々の遊びを何でも知りたがる子どものお話を書いて」「遠い昔に冒険をする若者のお話を書いて」のような、似た頼みの文を続けて書きました。事前学習で練習してきたのは、頼みに従うことではなく、文章の続きを当てることです。頼みの文を文章の書き出しと見て、その続きを書いたように見えます。事後学習もした InstructGPT は、カエルのお話をフランス語で書きました。
問32018年の最初の GPT の論文で、同じ仕組み・同じ大きさのAIを2つ用意した。1つは事前学習をしてから、もう1つは事前学習をせずに、どちらも目的の課題のデータで学ばせ、8つの課題で成績を比べた。事前学習をしなかったAIの成績は、どうだった?
答えと解説
答え:C どの課題でも、成績が下がった
事前学習をしなかったAIは、8つの課題(文が文法として正しいかの見分けや、2つの文の意味が似ているかの見分けなど)のどれでも成績が下がりました。8つの点(どれも100点が満点)の平均は、事前学習をしたときの74.7点から59.9点になりました。論文は、続きを当てる練習の中で、AIが多くの課題に役立つ力まで身に付けるのではないか、と見ています。
関連用語
- ファインチューニング
- 大規模言語モデル
- トークン
- トランスフォーマー
- パラメーター
- 強化学習
- データポイズニング
- ベンチマーク
- 機械学習
- 深層学習
- 転移学習
- 自己教師あり学習
- ベースモデル
- スケーリング則
参考文献と確かめ方
- Radford ほか「Improving Language Understanding by Generative Pre-Training」(OpenAI、2018年。GPT の最初の論文。要旨・1章〔2段の学び方〕・3章・4.1節〔BooksCorpus。冒険・ファンタジー・恋愛などの、7000冊を超える、出版されていない本〕・表1〔課題の種類〕・5章〔調整なしで課題を解かせた成績・事前学習をしないときの表5。平均の点は、8つの課題の結果をそのまま平均したもの〕。2026年11月16日に読んだ)
- Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」(Google AI Language、arXiv、2018年10月。要旨・2章〔写真の分野で、前もって学ばせたモデルを調整するやり方〕・3章〔事前学習とファインチューニングの2段・言葉の15%を隠す穴埋め〕。2026年11月16日に読んだ)
- Brown ほか「Language Models are Few-Shot Learners」(GPT-3、OpenAI、arXiv、2020年5月。2章〔例を見せるだけで、中の数は変えない few-shot〕・2.1節〔3000億トークン〕・2.2節と表2.2〔学習に使った文章の内わけ〕。2026年11月16日に読んだ)
- Hoffmann ほか「Training Compute-Optimal Large Language Models」(DeepMind、arXiv、2022年3月。要旨〔中の数とトークンを同じ割合で増やす・Chinchilla〕・表1〔Gopher の3000億トークン〕。2026年11月16日に読んだ)
- Ouyang ほか「Training language models to follow instructions with human feedback」(InstructGPT、OpenAI、arXiv、2022年3月。要旨・1章〔言葉のモデルの練習の目当てと、頼みに従うことの違い〕・3.2節〔データの数〕・4.3節と図8〔GPT-3 と InstructGPT の答えの例〕・5.1節〔計算の量〕。2026年11月16日に読んだ)
- OpenAI「GPT-4 Technical Report」(arXiv、2023年3月。次のトークンを当てる事前学習の所・能力の章〔試験の力は主に事前学習から〕・限界の章〔2021年9月で切れたデータ・経験から学ばない〕。会社の説明。2026年11月16日に読んだ)
- Llama チーム(Meta)「The Llama 3 Herd of Models」(arXiv、2024年7月。1章〔事前学習と事後学習の2段・15.6兆トークン〕・2章〔次のトークンの予測・事前学習を終えたモデルは、まだ頼みに従わない〕・3.1節〔2023年の終わりまでの知識・個人の情報の多いサイトを外す・重なりを除く〕・3.1.2節〔データの内わけ〕・3.2節〔英語で1トークン平均3.94文字〕・「事後学習」の言葉の使い方〔事前学習の外でするすべての学習〕。2026年11月16日に読んだ)
- Carlini ほか「Quantifying Memorization Across Neural Language Models」(arXiv、2022年2月。要旨・1章〔60億個のAIが、学習データの少なくとも1%を覚えていた〕・3.2節〔前の部分を見せて、続きの50トークンを比べる〕・4.2節〔何度も出てくる文章〕・4.4節〔試した文章からの見積もり〕。2026年11月16日に読んだ)
- Carlini ほか「Extracting Training Data from Large Language Models」(arXiv、2020年12月。USENIX Security 2021。要旨・1章〔学習データの1つの文書にしか無かった文を書かせられた〕。2026年11月16日に読んだ)
- Google「Long context」(Gemini API の説明書。100万トークンは、普通の長さの英語の小説8冊ほど、の目安。2026年11月16日に読んだ)
- Eloundou ほか「GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models」(OpenAI・ペンシルベニア大学ほか、arXiv、2023年3月。要旨の Generative Pre-trained Transformers。2026年11月16日に読んだ)
- 株式会社オブライト「Pre-training」(用語集。別名「プレトレーニング」。2026年11月16日に読んだ)
このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月16日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。
AIの用語
- アライメント偽装
- AIアライメント
- AIエージェント
- エンベディング
- 解釈可能性
- 過学習
- 拡散モデル
- 機械学習
- 強化学習(RL)
- 形式検証
- 検索拡張生成(RAG)
- 混合エキスパート(MoE)
- コンテキストウィンドウ
- 再帰言語モデル(RLM)
- 再帰的自己改善(RSI)
- サブリミナル学習
- 時間地平線
- 思考の連鎖(CoT)
- システムプロンプト
- 読んでいるページ事前学習
- 自動形式化
- シャットダウン抵抗
- シンギュラリティ
- 人工知能(AI)
- 深層学習
- 推論モデル
- スリーパーエージェント
- 生成AI
- 潜在空間
- 創発的ミスアライメント
- 大規模言語モデル(LLM)
- 脱獄
- 段階的無力化
- 知能爆発
- 超知能(ASI)
- ディープフェイク
- データポイズニング
- 敵対的生成ネットワーク(GAN)
- 転移学習
- トークン
- トランスフォーマー
- ニューラリーズ
- ニューラルネットワーク
- ハイパーパラメーター
- バックドア
- パラメーター
- ハルシネーション
- 汎化
- 汎用人工知能(AGI)
- 評価認識
- ファインチューニング
- プロンプト
- プロンプトインジェクション
- ペルソナベクトル
- ベンチマーク
- 報酬ハッキング
- Lean
- レッドチーム