科学なるほど新聞English

トップ › 用語集 › AI

ベンチマーク(AIの力を比べる共通の試験)とは?

別の呼び名:Benchmark、LLMベンチマーク

用語解説 ・ 確かめた日 2026年11月16日 ・ 読む 16分

1分で解説

ベンチマークとは、AIの分野では、決まった問題の集まりと、決まった採点のしかたをセットにした共通の試験のことで、いろいろなAIに同じ問題を解かせて、点数で力を比べるために使います。

例えば2020年に作られた MMLU は、数学・歴史・法律など57の分野の、4つの答えから1つを選ぶ問題(選択問題)を集めた試験で、点数は正しく答えた割合(正答率)です。同じ試験なら、別々の会社が作ったAIでも、点数を並べて比べられます。AIを作る会社は、新しいAIを発表するとき、よくベンチマークの点数の表を載せます。

ただし、点数は力の一部しか表しません。多くのAIが満点近くを取るようになる(飽和)と差が付かなくなり、試験の問題が、AIが学ぶデータ(学習データ)に紛れ込むと、点数が実力より高く出ることもあります。

よくある思い込み

「ベンチマークの点数が高いAIほど、どんな仕事でもよくできる」

半分だけ合っています。同じ試験の点数なら、その試験が測っている種類の問題では、点の高いAIの方がよくできると考えてよいでしょう。違うのは、「どんな仕事でも」の所です。多くのベンチマークが測るのは、選ぶ問題や、答えの数が決まった算数の問題、確かめ用のプログラムを動かせば、正しく直ったかが分かるプログラムの直しのように、正しいかどうかを決まったやり方で判定できる問題です。答えが1つに決まらない頼み(AIへの質問や指示)での使いやすさは、決まった問題では測りにくい、と指摘する研究者もいます。また、試験の問題がAIの学ぶデータに紛れ込むと、点数は実力より高く出ます。2024年の研究では、算数の文章題の試験と同じくらいの難しさの問題を人が新しく作って解かせると、正答率が最大8ポイントほど下がったAIがありました(ポイントは割合どうしの差のことで、50%が42%になれば、8ポイント下がったと言います)。点数は、その試験が測る力の目安で、AIの力の全部ではないのです。

図で解説

ベンチマークの仕組みを表した模式図(点数は作った例)。題「同じ問題・同じ採点で、点数を比べる」。左のオレンジの点線の枠「ベンチマーク」の中に、「問1」「問2」「問3」と書いた紙の束「決まった問題」と、○と✕の付いた紙とペン「決まった採点」。紙の束から3本の矢印が、真ん中の「同じ問題を解く」3台のロボット(体にA・B・Cの字)へ向かう。それぞれのロボットは答案を持ち、「採点」の矢印で右の枠「点数の表」へつながる。表は横棒で、AI A 75%(紺の棒)、AI B 88%(オレンジのしま模様の棒)、AI C 62%(白い点線の棒)。下に「点数=正しく答えた割合(正答率)」。一番下の帯:同じ試験だから、作った会社が違うAIも比べられる。
ベンチマークの仕組みを表した模式図です。左の点線の枠がベンチマーク(共通の試験)で、決まった問題の束と、○✕の付いた紙が表す決まった採点のしかた(正しい答えと点の付け方)を、セットにしています。矢印は、同じ問題が3つのAI(A・B・Cのロボット)に配られ、それぞれの答えが同じやり方で採点される流れです。右は、出た点数を並べた表で、点数は正しく答えた問題の割合(正答率)です。問題も採点も同じなので、作った会社が違うAIどうしでも、点数を並べて比べられます。ただし、比べられるのは、この試験が測る種類の力だけです。
ある試験で点が上限に近づき、もっと難しい試験が作られた流れを表した図。題「点が上限に近づくと、もっと難しい試験へ」。副題:点は論文と会社の発表の値(線は点を結んだもの)。縦は「正答率(正しく答えた割合)」で0%から100%、横は2020年から2025年。上の90〜100%は、しま模様の帯「上限の近く:差が付きにくい(飽和)」。25%の高さに点線「4択の当てずっぽう 25%」。紺の実線と丸「MMLU(57分野の選択問題)」:GPT-3(2020年)43.9%、GPT-4(2023年)86.4%、2025年初めの点から上向きの矢印と「主なAIで90%超」。右下に、上と下に横線の付いた、オレンジのしま模様の短い縦の棒「HLE(2025年)2.7〜13.4%」。90%超の点から、オレンジの点線の曲がった矢印「もっと難しい試験へ」がHLEへ向かう。一番下の帯:上限に近づくと差が付かず、もっと難しい試験が作られる。
AIがよくなって、試験が易しくなりすぎる流れを表した図です。縦は正答率、横は年で、点は論文と会社の発表の値です。紺の実線と丸は、57の分野の選択問題を集めた試験 MMLU です。GPT-3(いくつかある大きさの版のうち、一番大きな版)は2020年に43.9%、GPT-4 は2023年に86.4%(会社の発表)で、2025年初めには主なAIが90%を超え、上の帯の、差が付きにくい所に入りました。点線は、4つから1つを選ぶ当てずっぽうの25%です。右下のオレンジの棒は、もっと難しく作られた試験 HLE で、同じころの主なAIでも正答率は2.7〜13.4%でした。曲がった矢印は、点が上限に近づいた試験から、新しい難しい試験へ移っていく流れです。
試験の問題が学ぶデータに紛れ込む様子と、2024年の研究の数を表した図。題「試験の問題が、学ぶデータに紛れ込むと」。副題:左は模式図。右は2024年の研究の数(算数の文章題)。左:たくさんの紙が重なった山「学ぶデータ(ネットの大量の文章など)」の中に、「問」「答」と書いたオレンジの紙が1枚混じり、札「試験の問題と答え」が線でそれを指す。山から矢印「学ぶ」でロボットへ。ロボットの上の考えの吹き出し「答えを覚えた」。ロボットの下の枠「前からの試験で点が高く出る」。点線で区切った右:「正答率(正しく答えた割合)」の棒グラフ。紺の棒「前からの問題(GSM8K)」と、オレンジのしま模様の棒「新しく作った問題(1205問)」。あるAI:43.7%と35.7%、下に「−8.0ポイント」。GPT-4:91.1%と92.3%、下に「ほぼ同じ」。一番下の帯:同じ難しさの新しい問題で比べると、かさ上げに気づける。
試験の問題が、AIが学ぶデータに紛れ込む「データの汚染」を表した図です。左は模式図で、AIが学ぶ大量の文章の山に、試験の問題と答え(オレンジの紙)が混じっていて、AIがそれも学び、答えを覚えてしまう様子です。そうしたAIは、前からの試験で点が実力より高く出ます。右は2024年の研究の数で、紺の棒は、前からある算数の文章題の試験 GSM8K の正答率、しま模様の棒は、人が新しく作った同じくらいの難しさの1205問での正答率です。あるAIは、43.7%から35.7%へ、8.0ポイント(割合どうしの差)下がり、GPT-4 はほぼ同じでした。研究者たちは、こうした下がり方の原因の一部は、前の問題を学んでいたことだろうと見ています。ほかに、試験に似た問題を集めて学ばせたことなども、原因になりうると書いています。

図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。

たとえるなら

全国で同じ問題を解く模擬試験

全国の中学生が、同じ問題を、同じ時間で解く模擬試験を考えます。問題も採点のしかたも同じなので、違う学校の生徒どうしでも、点数を並べて比べられます。ベンチマークは、AIのための、この模擬試験のようなものです。

でも、もし問題と答えが前もって出回っていたら、高い点を取った生徒が本当に力があるのか、答えを覚えていただけなのか、点数だけでは分かりません。また、全員が満点近くを取るようになれば、その模擬試験では差が付かず、もっと難しい試験が要ります。

ただ、たとえが合わないところもあります。人の模擬試験は、毎回新しい問題を作りますが、AIのベンチマークは、前のAIとも比べられるように、同じ問題を何年も使い続けることがよくあり、そのぶん問題が出回りやすくなります。また、AIはネットの大量の文章から学ぶので、問題がどこかに載っていれば、作る人も気づかないうちに学んでしまうことがあります。生徒のように、わざと答えを覚えたとは限らないのです。

ポイント解説

なぜ「ベンチマーク」と呼ぶの?

英語の benchmark は、もとは測量の言葉です。土地の高さを測るとき、高さがすでに分かっている所に、動かないものを選んで付けた印のことで、測量する人は、この印をもとに、ほかの場所の高さを決めます。日本では、同じ役目の印を「水準点」と呼び、高さの基準にするために、全国の主な国道沿いなどに約1万6000か所置かれています。

bench は、ここでは「台」のことです。アメリカの英語の辞書は、この印に金具を差して小さな台にし、そこに高さを測る長い物差しを載せたことから、と説明しています。

今の英語では、benchmark は「物事を測ったり比べたりするときの基準」という広い意味でも使われます。株などの運用では、成績を比べる目安(日経平均株価など)を、コンピューターでは、性能を同じ条件で測って比べるための決まった試しを、ベンチマークと呼びます。AIのベンチマークも、どのAIにも同じ物差しを当てて比べるための、共通の基準です。

どうやって作るの?

ベンチマークは、問題の集まりと、正しい答え(または、答えが合っているかを確かめる仕組み)と、採点のしかたを組にして作ります。採点のしかたまで決めておくのは、誰がどのAIで試しても、同じ物差しで点を出すためです。点数は、多くの場合、正しく答えた問題の割合(正答率)です。

2020年の MMLU は、易しいものから専門家向けまで、57の分野の選択問題を、合わせて1万5908問集めました。4つから1つを選ぶので、当てずっぽうでも25%は当たります。作った研究者たちは、当時の GPT-3(OpenAI が2020年に発表した、文を書くAI)に解かせました。GPT-3 には、AIの大きさ(中の数〔パラメーター〕の多さ)が違う4つの版があり、小さめの3つは25%前後で、当てずっぽうとほぼ同じでした。一番大きな版は43.9%で、当てずっぽうより約20ポイント高かったものの、専門家には遠く届きませんでした。専門家の正答率は、問題のもとになった実際の試験で上位5%に入る人の正答率(分からない所は推し量った値)から、約89.8%と見積もられています。

答えを選ぶ形でなくても作れます。2021年の GSM8K は、小中学生向けの算数の文章題を約8500問集めた試験で、どの問題も2〜8回の計算を重ねて解けます。採点は、AIが最後に出した答えの数が合っているかで決めます。2023年の SWE-bench は、よく使われている12のプログラム(誰でも中身を見られるもの)で実際に報告された不具合などを、AIに直させる2294問の試験です。AIが直したプログラムを、前もって用意した確かめ用のプログラム(テスト)で全部動かし、どれも正しく動けば、解けたことになります。

共通の試験があると、研究者どうしが、同じ物差しで工夫を比べられます。写真に写った物を1000種類の中から当てる大会(ImageNet の大会)では、毎年、研究チームが同じ試験で競いました。間違いの割合(AIが挙げた5つまでの答えの中に、正解が無かった写真の割合。低いほど良い)は、2010年の28.2%から、2014年には6.7%まで下がりました。試験の答えは参加者に見せず、AIの答えを送ってもらって、主催する側が採点しました。

なぜ、次々に新しい試験が作られるの?

AIがよくなると、試験が易しすぎて、差が付かなくなるからです。多くのAIが満点近くを取るようになることを、飽和と呼びます。MMLU で、2020年に GPT-3 の一番大きな版が取った43.9%は、2023年には GPT-4 で86.4%(会社の発表)になり、2025年初めには、主なAIが90%を超えるようになっていました。MMLU や、算数の文章題の GSM8K のような前からの試験は、もう差が付きにくくなっています。

そこで、もっと難しい試験が作られます。2025年に発表された Humanity's Last Exam(「人類最後の試験」という意味。略して HLE)は、世界中の専門家が作った、数学・人文学・自然科学など、たくさんの分野の2500問の試験です(最初に発表した版では3000問でした)。問題を集めるときに、その時の主なAIに解かせ、正しく答えられた問題は入れませんでした。論文の表では、2025年初めの主な8つのAIの正答率は、2.7〜13.4%でした。

新しい試験も、いつまでも難しいとは限りません。2023年に作られた SWE-bench では、一番よいAIが解けた割合が、2023年の終わりの4.4%から、2024年の終わりには71.7%まで上がりました。ただし71.7%は、人が確かめて選んだ一部の問題(SWE-bench Verified)での値で、AIを作った会社の発表です。

HLE を作った研究者たちも、ベンチマークはすぐに飽和する、と書いています。そのうえで、学校の試験のような、答えの決まった問題でAIを試すのは HLE が最後になるかもしれないが、AIを測る試験はこれで終わりではない、とも書いています。

点数は、どこまで信じていいの?

試験の問題と答えが、AIが学ぶデータ(学習データ)に紛れ込むと、AIが解き方ではなく答えを覚えて、点が実力より高く出ることがあります。これを、データの汚染と呼びます。今の大規模言語モデル(ChatGPT などで使う、文を書くAI)は、ネットの大量の文章から学ぶので、試験の問題がどこかに載っていれば、作る側が気づかないうちに入ることがあります。OpenAI は、2023年の GPT-4 の報告書で、ある試験の一部がうっかり学習データに混ざっていたので、その結果は載せなかった、と書いています(会社の報告)。

汚染を確かめる手の1つは、同じくらいの難しさの新しい問題を作って比べることです。2024年の研究では、GSM8K に似せた算数の文章題を、人が新しく1205問作り、いろいろなAIに、前からの問題と新しい問題の両方を解かせました。すると、新しい問題で正答率が最大8ポイントほど(100問なら8問ぶん)下がるAIがあり、研究者たちは、こうしたAIが前からの試験に合わせすぎている(過学習)と見ています。また、GSM8K の問題文を、AIがどれだけすらすら書けそうかも測りました(問題文の続きを前から順に予想させ、元の文どおりに当たりやすいほど、その文を前に読んだことがありそうと見る)。すると、すらすら書けそうなAIほど、点の下がり方が大きい傾向がありました。ただ、それで説明できない例もあり、試験に似た問題を集めて学ばせたことなども原因になりうる、と研究者たちは書いています。一方、その時点で一番進んだAIの多くは、2つの試験でほぼ同じ点でした。例えば GPT-4 は、前からの問題で91.1%、新しい問題で92.3%で、差は小さく、ほぼ同じと見てよい範囲でした。

作る側も手を打っています。写真の大会(ImageNet の大会)は、試験の答えを公開せずに採点しました。HLE は、AIが公開の問題に合わせすぎていないかを確かめるため、問題の一部を公開せずに取っておいています。2024年の算数の研究も、新しい問題が学習データに紛れ込まないよう、問題をすぐには公開しませんでした。SWE-bench は、AIが学び終えた後に報告された不具合で、新しい問題を足せるように作られています。

AIが、試験だと気づくこともあります。2025年の研究では、AIに、試験の問題を解いたときのやり取りと、本番で人がAIを使ったときのやり取りを読ませると、主なAIは、どちらが試験のものかを、当てずっぽうよりずっとよく見分けました。試験のときだけ振る舞いが変わるなら、点は本番の様子を表しません(詳しくは「評価認識」のページ)。

点数の表は、どう読めばいいの?

ひとことで言うと、点数は「その試験を、その測り方で解いたときの成績」です。比べるのは同じ試験・同じ条件で測った点どうしにして、誰が測ったか(AIを作った会社の発表か、ほかの人か)と、自分の使い方に近い試験かも見ます。

まず、どの試験の点が載っているかを見ます。どの試験を載せるかは、発表する側が選ぶので、そのAIの得意な試験ばかりが並ぶこともありえます。2022年の研究は、それまでの有名なAIの中には、同じ試験の点が1つも無い組もあった、と書いています(それでは、点を並べて比べられません)。

次に、同じ条件で測った点かを見ます。同じAIでも、頼み方(AIへの質問や指示の書き方)や採点の細かい決まりで、点は変わります。2024年の算数の研究では、頼みの文に入れるお手本の例題と、答えの書き方を変えただけで、同じ算数の文章題の試験で、あるAIの正答率が約5ポイント下がりました。別々の所で測った点を並べるときは、条件がそろっているかを確かめる必要があります。

点数を上げること自体が目当てになると、点と本当の力がずれていくこともあります。AIの研究でも、物差しを重く見すぎると、点だけを上げるずるや、目先の数字ばかりを追うことにつながる、と指摘されています。人の世界で「グッドハートの法則」として知られる見方で、よく引かれる言い方では「測るものが目標になると、それはよい物差しではなくなる」。もとは経済学者のグッドハートが1975年に、イギリスのお金の政策について書いた考えで、この短い言い方は、後に別の研究者が書いたものだとされています(詳しくは「報酬ハッキング」のページ)。

最後に、点数は使ったときの感じと合わないこともあります。決まった問題の試験は、答えが1つに決まらない頼みや、人の好みに合うかを測りにくいからです。そこで Chatbot Arena は、決まった問題を使わず、使う人が自由に質問し、名前を隠した2つのAIの答えを見比べて、よい方に投票する仕組みにしました(2023年に始まり、2024年の論文にまとめられました)。2024年1月までに集まった票は24万を超えました。その一部の対戦を、詳しい人2人にも判定してもらうと、使う人の票と同じ方を選んだのは7〜8割ほどでした。詳しい人どうしの一致も同じくらいだったので、研究者たちは、使う人の票と詳しい人の判定はよく一致している、と見ています。

レッドチームとは、何が違うの?

ベンチマークは、決まった問題で点数を出し、AIどうしを比べる共通の試験です。レッドチームは、決まった問題を使わず、攻める側に立って、AIの弱いところや危ない振る舞いを、わざと探す役です(詳しくは「レッドチーム」のページ)。ベンチマークは、どのAIがどれだけできるかを比べるのに向き、レッドチームは、思ってもいなかった危なさを見つけるのに向いています。

2つはつながっています。OpenAI は、レッドチームの人たちが試した頼みの文をもとに、何度でも同じように試せる自動の試験を作る、と書いています(会社の説明)。レッドチームで見つけた弱いところが、後で決まった問題の試験になるのです。

点数とは別の形で、力を表す物差しもあります。「時間地平線」は、AIエージェントがやり遂げられる作業の長さを、人ならかかる時間で表します。例えば、人の専門家なら1時間かかる作業を、AIが2回に1回やり遂げられるなら「1時間」です(詳しくは「時間地平線」のページ)。

確認問題

  1. 問12020年に作られた試験 MMLU は、数学・歴史・法律など57の分野の、4つの答えから1つを選ぶ問題でできている。作った研究者たちは、文を書くAI GPT-3 の、大きさ(中の数〔パラメーター〕の多さ)が違う4つの版に解かせた。一番大きな版の正答率(正しく答えた割合)は、どれくらいだった?

    答えと解説

    答え:A 約44%

    GPT-3 の一番大きな版は43.9%で、当てずっぽう(4つから1つで25%)より約20ポイント高い点でした。小さめの3つの版は25%前後で、当てずっぽうとほぼ同じでした。それでも、専門家の正答率(約89.8%と見積もられた)には遠く届きませんでした。その後、主なAIが90%を超えるようになり、この試験では差が付きにくくなりました。

    くわしくは → ポイント解説:どうやって作るの?

  2. 問22024年の研究で、小中学生向けの算数の文章題の試験 GSM8K と同じくらいの難しさの問題を、人が新しく作った。その時点で一番進んだAI(GPT-4 など)と、ほかのいろいろなAIに、前からの問題と新しい問題の両方を解かせた。新しい問題での点は、前からの問題と比べてどうだった?

    答えと解説

    答え:C 一番進んだAIはほぼ同じで、ほかのAIの一部ははっきり下がった

    その時点で一番進んだAIの多くは、2つの試験でほぼ同じ点でした。例えば GPT-4 は、前からの問題で91.1%、新しい問題で92.3%でした。一方、ほかの一部のAIは、新しい問題で正答率が最大8ポイントほど下がり、前からの問題の文をすらすら書けそうなAIほど、下がり方が大きい傾向がありました。点の高いAIがいつも答えを覚えている、というわけではないのです。

    くわしくは → ポイント解説:点数は、どこまで信じていいの?

  3. 問32023年に作られた試験 SWE-bench は、実際のプログラムで報告された不具合などを、AIに直させるものだ。その年ごとに一番よいAIが解けた割合を比べると、2023年の終わりは4.4%だった。2024年の終わりの一番よい値(AIを作った会社が発表した、人が選んだ一部の問題での値)は、どうだった?

    答えと解説

    答え:B 70%を超えるまで上がった

    2024年の終わりには、人が確かめて選んだ一部の問題で71.7%を解いたと、AIを作った会社が発表しました。難しく作った新しい試験でも、AIがよくなると、短い間に点が大きく上がることがあります。こうして試験がすぐ易しくなりすぎるので、もっと難しい試験が次々に作られています。

    くわしくは → ポイント解説:なぜ、次々に新しい試験が作られるの?

参考文献と確かめ方

このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月16日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。

AIの用語

AIの用語をすべて見る(58) →