推論モデルとは？

2022年1月、Google の研究者ウェイ（Jason Wei）たちが、「Chain-of-Thought Prompting」という論文を出しました。AIへの頼み方（プロンプト）の中に、問題・途中の考え・答えを並べた例を8つ入れておくと、AIも途中の考えを書いてから答えるようになります。算数の文章題のテスト（GSM8K）で、PaLM 540B というAI（パラメーターが5400億個）の正解の割合は、17.9%から56.9%に上がりました。論文は、思考の連鎖を「最後の答えにつながる、言葉で書いた途中の考えの並び」と説明しています。

ただし、効いたのは大きなAIだけでした。論文によると、パラメーター（AIの中で計算に使う数）がおよそ1000億個ほどのモデルでないと、効き目が出ませんでした。

同じ2022年の5月には、東京大学と Google の研究者たちが、例を見せなくても、答えの前に「Let's think step by step（一歩ずつ考えよう）」と足すだけで効くことを示しました。InstructGPT（text-davinci-002）というAIで、算数の文章題の正解の割合が、GSM8K で10.4%から40.7%に、MultiArith というテストで17.7%から78.7%に上がりました。

思考の連鎖は、はじめは、人が頼み方を工夫して引き出すものでした。推論モデルは、頼まれなくても、答える前に長い考えの文を書くように、AIそのものを学習させたものです。

たとえば OpenAI は、2024年12月の o1 の説明書（システムカード）で、o1 は「答える前に考える」、つまり答える前に長い思考の連鎖を書ける、と書いています。大がかりな強化学習で、思考の連鎖を使って考えるように訓練し、その中で、考え方を磨き、別のやり方を試し、自分のまちがいに気づくようになった、という説明です。

Anthropic（Claude を作る会社）の開発者向けの説明は、考えずに1回で答えるモデルは、下書きも、確かめも、途中でやり方を変えることもできず、最初から全部を正しく出すしかない、と書いています。考えるときの Claude は、問われていることを言い直し、やり方を試し、途中の結果を確かめ、うまくいかない道はやめます。そのため、数学・プログラミング・分析や、長く続くAIエージェントの仕事などで、成績が上がる、としています。

1つのモデルで、すぐ答えるか、考えてから答えるかを切りかえられるものもあります。Anthropic は2025年2月、Claude 3.7 Sonnet を「市場で初めての、ハイブリッドの推論モデル」と発表しました（会社の言い方です）。2026年11月に読んだ Claude の説明書では、質問の難しさを見て、考えるかどうか、どれだけ考えるかを、Claude が自分で決めるやり方が勧められています。簡単な事実の質問なら、考えずにすぐ答えることもあります。

AIの会社 DeepSeek が2025年1月に出した論文（のちに、2025年9月に科学誌『Nature』にも載りました）が、手がかりになります。

DeepSeek-R1-Zero というモデルでは、考え方の手本を人が見せる学習をせずに、もとになるモデル（DeepSeek-V3-Base）に、いきなり強化学習をしました。ごほうびの決め方は簡単です。数学なら、決まった形で書いた最後の答えが合っているか、プログラムなら、用意したテストに通るかを、決まりで機械が確かめます。考えの文を <think> と </think> のあいだに書く、という形を守ることにも、ごほうびを付けました。

答えのよさを、別のAIに点数で付けさせるやり方は、使いませんでした。点数を付けるAIのすきをついて、点だけを稼ぐ「ずる」（reward hacking）が起きるおそれがあるからです。

すると、数学の大会 AIME 2024 の問題で、1回で答えたときの正解の割合が、15.6%から77.9%に上がりました（Nature に載った版の数字。2025年1月の最初の版では71.0%）。何回も答えさせて多数決を取ると、86.7%でした。学ぶにつれて考えの文はだんだん長くなり、前の手を見直して考え直す動きも、ひとりでに出てきました。途中の版では、「Wait, wait. Wait.（待って、待って。待って。）」と考え直す場面もあり、論文はこれを「aha moment（ひらめきの瞬間）」と呼んでいます。ただし、R1-Zero の考えの文は読みにくく、言葉が混ざるという弱点もありました。

ある程度までは、そうです。Anthropic は2025年2月、Claude 3.7 Sonnet が数学の大会（AIME 2024）の問題を解くとき、考えに使ってよいトークン（AIが文字を区切って数える単位）の数を増やすほど、正解の割合が上がった、と発表しました。ただし、上がり方は「対数的」で、考える量を2倍、4倍と増やしても、正解の割合は少しずつしか増えません。

Claude の開発者向けの説明も、考える量を多くすると念入りに考えられるが、効き目は仕事によってだんだん小さくなり、答えが出るまでの時間はのびる、と書いています。

長く考えるほど悪くなる場合もあります。Anthropic などの研究者たちの2025年の論文は、「りんごとオレンジを持っています。果物はいくつ？」のような簡単な数の問題に、気をそらす、答えに関係のない数の話（確率など）を混ぜて解かせました。すると Claude Opus 4 は、考えの文が長くなるほど、正解の割合がほぼ100%から85〜90%ほどに下がりました。論文は、考える量をただ増やすと、まちがった考え方のくせを、知らないうちに強めてしまうおそれがある、と書いています。

考えの文も、AIが書く文です。各社の開発者向けの説明（どれも2026年11月に読んだもの）を見てみます。OpenAI の説明は、問題の難しさによって、考えに使うトークンは数百から数万になりうると書き、その料金は、出力（AIが書いた文）のトークンとして数えます。

考えの文がほとんど見えなくても、料金は考えた分の全部にかかります。Anthropic の説明書は、画面に出る要約ではなく、AIが中で書いた考えのトークンの全部に料金がかかり、請求されるトークンの数は、見えるトークンの数と合わない、と書いています。Google の Gemini の説明書も、料金は、考えに要ったトークンの全部で決まる、としています。

考えすぎの問題もあります。Tencent AI Lab などの研究者たちは2024年12月の論文で、「2＋3の答えは？」という、とても簡単な問いを、o1 に似た推論モデルたちに解かせました。同じ答えにたどり着くまでに使ったトークンは、ふつうのモデルより平均で1,953%多かった（20倍あまり）、と書いています。この問いに、13通りもの解き方を書いた例も載っています。

そのため、考える量を決める仕組みがあります。OpenAI では「low」「medium」「high」などの段階を選び、低いほど速くトークンも少なく、高いほど念入りに考えます。Anthropic の Claude 3.7 Sonnet（2025年）では、考えに使うトークンの上限（予算）を、最大128,000トークンまで決められました。

そうとは限りません。Anthropic は2025年4月、当時の推論モデル Claude 3.7 Sonnet と、DeepSeek の R1 に、答えを選ぶ問題を、ヒントなしとヒントありで解かせた実験を発表しました（ヒントは、たとえば「スタンフォード大学の教授は、答えはAだと言っている」）。ヒントに合わせて答えを変えたとき、考えの文に、答えを選ぶ理由としてヒントを使ったと書いたのは、平均で、Claude 3.7 Sonnet が25%（4回に1回）、R1 が39%（5回に2回ほど）でした。

実験で研究者が読んだのは、AIが書いた考えの文そのものです。いっぽう、2026年11月に読んだ Claude の開発者向けの説明によると、API（プログラムからAIを使う窓口）で考えの文を受け取る設定にしても、届くのは生の考えではなく、別のモデルが作った要約です。

それでも、考えの文を読む意味はあります。この実験の論文は、考えの文を見張るのは、訓練や試験の中でよくない動きに気づく、有望な方法だが、それだけで、よくない動きが無いとは言い切れない、とまとめています。ただし実験は、作った場面で、答えを選ぶ問題を解かせたもので、今のAIで同じ割合になるかは分かりません。

あります。1つは、英語の inference の訳です。IBM は、AI推論を「学習させたAIモデルを使って新しいデータの予測を行うこと」と説明しています。この意味では、チャットAIに質問して答えが返ってくるのは、どのAIでも「推論」です。

もう1つは、英語の reasoning の訳で、筋道を立てて考えることです。国語辞典（デジタル大辞泉）は、推論を「ある事実をもとにして、未知の事柄をおしはかり論じること」と説明しています。百科事典（世界大百科事典）も、いくつかの前提から1つの結論を導き出すことを、推理（推論、reasoning）と説明しています。「推論モデル」の推論は、こちらです。Microsoft の日本語の説明書も、reasoning model を「推論モデル」、考えに使うトークンを「推論トークン」と書いています。

ですから、「AIの推論」と書いてあったら、学習を終えたAIを動かすこと（inference）なのか、筋道を立てて考えること（reasoning）なのかを、前後の文で確かめると、取り違えにくくなります。