強化学習とは？

いちばんのちがいは、正しい答えを教わらないことです。機械学習の学び方の1つの教師あり学習は、写真に「ねこ」と付けるように、正しい答え（ラベル）の付いた例から学びます。強化学習は、正解データの代わりに、ごほうび（報酬）というかたちで、学ぶ手がかりを受け取ります（ブリタニカ国際大百科事典）。OpenAI の入門の資料も、強化学習を、エージェントが試行錯誤で学ぶしくみの研究、と説明しています。

出てくる言葉をまとめます。学んで行動する側を「エージェント」、エージェントがいる、まわりの世界を「環境」といいます。環境の今の様子が「状態」、エージェントがすることが「行動」です。行動のあとに返ってくる数が「ごほうび（報酬）」で、行動した結果の今の様子が、どれくらいよいか悪いかを表します。どの状態でどの行動をとるかを決める決まりを「方策（ポリシー）」といい、ごほうびの合計がいちばん多く見込める方策を見つけるのが目当てです（Google の機械学習の用語集・OpenAI の入門の資料）。

なお、強化学習の「エージェント」は、「AIエージェント」と同じ言葉ですが、指すものが少しちがいます。Google の用語集は、エージェントを、使う人の代わりに計画を立てて行動するソフトウェア、と説明したうえで、強化学習では、方策を使って、見込めるごほうびの合計をいちばん大きくしようとするもの、と分けて書いています（くわしくは「AIエージェント」のページ）。

強化学習のAIが大きくしようとするのは、1回ごとの点ではなく、終わりまでにもらえる点の合計です。これを「リターン」といいます（Google の用語集・OpenAI の入門の資料）。ですから、今すぐ点がもらえる行動より、しばらく点がもらえなくても、あとで大きな点につながる行動のほうがよいことがあります。国語辞典（デジタル大辞泉）も、強化学習の報酬は、ある程度遅れてもたらされる、と説明しています。

たいていのゲームでは、最後のごほうびは「勝つこと」です。Google の用語集は、勝ちにつながった手の並びと、負けにつながった手の並びを見直すことで、強化学習のしくみは、むずかしいゲームの名人になれる、と書いています。

遠い先の点は、すぐの点より少し割り引いて数えることがあります。OpenAI の入門の資料は、そのわけを「今のお金は、あとのお金よりよい」とたとえています。割り引けば、終わりの決まっていない、いつまでも続くくり返しでも、ふつうの条件のもとでは、点の合計が決まった数に収まる、という計算の上のわけもあります。

また、ある場面から始めると、このあと点の合計がどれくらい見込めるかを、その場面の「価値」といいます。OpenAI の入門の資料は、価値を見積もるしくみが、ほとんどすべての強化学習のやり方で、何らかの形で使われている、と書いています。

ためさなければ、もっとよい行動があっても分からないままです。でも、ためしてばかりでは、分かったよい行動を使えません。強化学習では、よく知らない行動をためすことを「探索」、ためして分かったことを使うことを「活用」といいます。いつも、見込める点の合計がいちばん多い行動を選ぶ方策を、Google の用語集は「グリーディ（欲ばりな）方策」と呼んでいます。

両方をまぜるやり方の1つに、「εグリーディ方策」があります（ε はギリシャ文字のイプシロン）。割合 ε だけ行動をでたらめに選び、残りはグリーディ方策で選びます。Google の用語集の例では、ε が0.9なら、90%はでたらめに、10%はいちばんよさそうな行動を選びます。同じ用語集の説明では、回を重ねるごとに ε を小さくしていき、はじめは広くためし、だんだん、ためして分かったことを使うようにします。

2015年、Google DeepMind のムニ（Volodymyr Mnih）たちは、強化学習と深層学習を組み合わせた DQN（深層Qネットワーク）を、科学誌『Nature』に発表しました。昔のゲーム機 Atari 2600 の49のゲームで、受け取るのは画面の絵（ピクセル）と点数だけ、やり方もネットワークの形も設定も全部のゲームで同じにして試しました。それでも、49のうち43のゲームで、それまでの機械学習のやり方を上回り、半分より多いゲームで、プロの人の腕前の75%を超えました（Google の発表）。論文の要旨は、49のゲームを通して、プロのゲームのテスターの人に並ぶ腕前に達した、と書いています。

論文に付いた動画では、ブロックくずし（Breakout）を100回・200回・400回・600回遊んだあとの腕前を比べています。600回遊んだあとの DQN は、壁の端に穴（トンネル）をあけて、球を壁の裏側に送りこみ、裏からブロックを崩すやり方を見つけて使っていました。

2016年には、同じ Google DeepMind のシルバー（David Silver）たちが、囲碁の AlphaGo を『Nature』に発表しました。次の手を選ぶしくみと、盤面のよさを見積もるしくみを、強い人たちの対局からの教師あり学習と、自分どうしで打つ対局からの強化学習とを組み合わせて学ばせました。ほかの囲碁のプログラムには99.8%勝ち、ヨーロッパのチャンピオン（ファン・フイ）にも5戦5勝しました。ふつうの大きさの盤で、コンピューターがプロの人に勝ったのは初めてで、論文は「少なくとも10年は先だと思われていた」と書いています。

2017年の AlphaGo Zero は、人の対局のデータも、人の手ほどきも、囲碁の決まりのほかの知識も使わず、強化学習だけで学びました。論文は「AlphaGo が自分の先生になる」と書いています。何も知らない所から始めて、世界チャンピオンを破った前の版の AlphaGo に、100戦100勝しました。

使われています。OpenAI のオーヤン（Long Ouyang）たちは2022年3月の論文で、大規模言語モデル（LLM）は、大きくしただけでは使う人の頼みに沿うようにはならず、本当でないことや、人を傷つける言葉や、役に立たないことを書くことがある、と書いています。そこで、人の評価を手がかりにする強化学習（RLHF）で仕上げた InstructGPT を作りました。RLHF は、人の好みを、ごほうびの点として使うやり方です。

やり方は3段です。①雇った約40人が、頼みに対するお手本の答えを書き、それを使って GPT-3 を教師あり学習で仕上げます。②同じ頼みにAIが書いた4〜9個の答えを人が比べて順位を付け、どの答えが人に好まれるかを当てる「報酬モデル（点を付けるモデル）」を学ばせます。③この報酬モデルの点が高くなるように、PPO という強化学習のやり方でAIを仕上げます。AIの答えに毎回人が点を付けるのではなく、人の比べ方を学んだモデルが点を付けるのです。

人が比べた結果では、パラメーター（AIの中で、学ぶときに調整される数。多いほど大きなAI）が13億個の InstructGPT の答えのほうが、その100倍ほど大きい1750億個の GPT-3 の答えより好まれました（論文が集めた頼みで比べたもの）。ただし論文は、InstructGPT もまだ簡単なまちがいをする、と書いています。OpenAI は2023年の GPT-4 の技術報告でも、GPT-4 を RLHF で仕上げた、と書いています。

推論モデルが「考えてから答える」くせを身につけるのにも、強化学習が使われています。OpenAI は2024年、o1 を大がかりな強化学習で、思考の連鎖（考えの途中の文）を使って考えるように訓練した、と書いています。DeepSeek の DeepSeek-R1-Zero は、答えが正しいかどうかなどで点を付ける強化学習で学び、考える時間を長くとって解くようになりました（くわしくは「推論モデル」のページ）。

強化学習のAIは、決められたごほうびを、とことん追いかけます。DeepMind の研究者たちは2020年、目当てを言葉どおりには満たしているのに、人が望んだ結果にはなっていない動きを「specification gaming（決めごとの抜け道を使うこと）」と呼び、そうした例を60ほど集めた、と書いています。

たとえば、赤いブロックを青いブロックの上に積ませたい場面です。ごほうびは、AIがブロックに触れていないときの、赤いブロックの底の面の高さで決めました。するとAIは、赤いブロックをひっくり返すだけで、ごほうびを手に入れました。ひっくり返せば、底の面が上を向いて高くなるからです。

研究者たちは、こうした動きは強化学習のやり方の欠点ではなく、してほしいことの伝え方のまちがいから起きる、と書いています。宿題でよい点を取るとほめられる生徒が、内容を学ぶ代わりに、ほかの生徒の答えを写すのと似ている、ともたとえています。そして、この問題は解決にはほど遠い、と見ています（研究者たちの見方）。

推論モデルの DeepSeek-R1-Zero を作った人たちが、答えの点付けに別のAI（点を付けるモデル）を使わなかった理由の1つも、点だけを稼ぐ「ずる」（reward hacking）が起きるおそれでした（ほかに、手間が増えることと、しくみが複雑になることも挙げています。くわしくは「推論モデル」のページ）。

少しちがいます。「強化」は、もとは心理学の言葉です。心理学の事典（最新 心理学事典）は、強化を、自分から出した反応のあとに、ごほうびのような刺激を与えたり、いやな刺激を取り除いたりすること、また、それによってその反応が増えること、と説明しています。強くなるのは、AIの力そのものではなく、ある行動をとる見込みのほうです。

動物の学び方の研究には、パブロフの条件反射をもとにした「古典的条件づけ」と、ソーンダイクの「道具的条件づけ」があります（世界大百科事典）。DQN の論文も、強化学習の考え方は、動物の行動についての心理学と脳の研究に、深く根ざしている、と書いています。

アメリカのマサチューセッツ大学アマースト校のバートー（Andrew Barto）と、その教え子だったサットン（Richard Sutton。今はカナダのアルバータ大学の教授）は、1980年代からの一連の論文で、強化学習の主な考え方と数学の土台を作り、大事な計算のやり方を生み出しました。1998年に出した教科書『Reinforcement Learning: An Introduction』は、今もこの分野の決まった参考書で、7万5000回より多く引用されています。

2025年3月5日、2人は、強化学習の考え方と計算のやり方の土台を作ったとして、2024年のチューリング賞（アメリカの計算機学会 ACM が出す、コンピューターの分野の賞。賞金100万ドル）に選ばれました。