ベンチマーク(AIの力を比べる共通の試験)とは?
別の呼び名:Benchmark、LLMベンチマーク
1分で解説
ベンチマークとは、AIの分野では、決まった問題の集まりと、決まった採点のしかたをセットにした共通の試験のことで、いろいろなAIに同じ問題を解かせて、点数で力を比べるために使います。
例えば2020年に作られた MMLU は、数学・歴史・法律など57の分野の、4つの答えから1つを選ぶ問題(選択問題)を集めた試験で、点数は正しく答えた割合(正答率)です。同じ試験なら、別々の会社が作ったAIでも、点数を並べて比べられます。AIを作る会社は、新しいAIを発表するとき、よくベンチマークの点数の表を載せます。
ただし、点数は力の一部しか表しません。多くのAIが満点近くを取るようになる(飽和)と差が付かなくなり、試験の問題が、AIが学ぶデータ(学習データ)に紛れ込むと、点数が実力より高く出ることもあります。
よくある思い込み
「ベンチマークの点数が高いAIほど、どんな仕事でもよくできる」
半分だけ合っています。同じ試験の点数なら、その試験が測っている種類の問題では、点の高いAIの方がよくできると考えてよいでしょう。違うのは、「どんな仕事でも」の所です。多くのベンチマークが測るのは、選ぶ問題や、答えの数が決まった算数の問題、確かめ用のプログラムを動かせば、正しく直ったかが分かるプログラムの直しのように、正しいかどうかを決まったやり方で判定できる問題です。答えが1つに決まらない頼み(AIへの質問や指示)での使いやすさは、決まった問題では測りにくい、と指摘する研究者もいます。また、試験の問題がAIの学ぶデータに紛れ込むと、点数は実力より高く出ます。2024年の研究では、算数の文章題の試験と同じくらいの難しさの問題を人が新しく作って解かせると、正答率が最大8ポイントほど下がったAIがありました(ポイントは割合どうしの差のことで、50%が42%になれば、8ポイント下がったと言います)。点数は、その試験が測る力の目安で、AIの力の全部ではないのです。
図で解説
図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。
たとえるなら
全国で同じ問題を解く模擬試験
全国の中学生が、同じ問題を、同じ時間で解く模擬試験を考えます。問題も採点のしかたも同じなので、違う学校の生徒どうしでも、点数を並べて比べられます。ベンチマークは、AIのための、この模擬試験のようなものです。
でも、もし問題と答えが前もって出回っていたら、高い点を取った生徒が本当に力があるのか、答えを覚えていただけなのか、点数だけでは分かりません。また、全員が満点近くを取るようになれば、その模擬試験では差が付かず、もっと難しい試験が要ります。
ただ、たとえが合わないところもあります。人の模擬試験は、毎回新しい問題を作りますが、AIのベンチマークは、前のAIとも比べられるように、同じ問題を何年も使い続けることがよくあり、そのぶん問題が出回りやすくなります。また、AIはネットの大量の文章から学ぶので、問題がどこかに載っていれば、作る人も気づかないうちに学んでしまうことがあります。生徒のように、わざと答えを覚えたとは限らないのです。
ポイント解説
なぜ「ベンチマーク」と呼ぶの?
英語の benchmark は、もとは測量の言葉です。土地の高さを測るとき、高さがすでに分かっている所に、動かないものを選んで付けた印のことで、測量する人は、この印をもとに、ほかの場所の高さを決めます。日本では、同じ役目の印を「水準点」と呼び、高さの基準にするために、全国の主な国道沿いなどに約1万6000か所置かれています。
bench は、ここでは「台」のことです。アメリカの英語の辞書は、この印に金具を差して小さな台にし、そこに高さを測る長い物差しを載せたことから、と説明しています。
今の英語では、benchmark は「物事を測ったり比べたりするときの基準」という広い意味でも使われます。株などの運用では、成績を比べる目安(日経平均株価など)を、コンピューターでは、性能を同じ条件で測って比べるための決まった試しを、ベンチマークと呼びます。AIのベンチマークも、どのAIにも同じ物差しを当てて比べるための、共通の基準です。
どうやって作るの?
ベンチマークは、問題の集まりと、正しい答え(または、答えが合っているかを確かめる仕組み)と、採点のしかたを組にして作ります。採点のしかたまで決めておくのは、誰がどのAIで試しても、同じ物差しで点を出すためです。点数は、多くの場合、正しく答えた問題の割合(正答率)です。
2020年の MMLU は、易しいものから専門家向けまで、57の分野の選択問題を、合わせて1万5908問集めました。4つから1つを選ぶので、当てずっぽうでも25%は当たります。作った研究者たちは、当時の GPT-3(OpenAI が2020年に発表した、文を書くAI)に解かせました。GPT-3 には、AIの大きさ(中の数〔パラメーター〕の多さ)が違う4つの版があり、小さめの3つは25%前後で、当てずっぽうとほぼ同じでした。一番大きな版は43.9%で、当てずっぽうより約20ポイント高かったものの、専門家には遠く届きませんでした。専門家の正答率は、問題のもとになった実際の試験で上位5%に入る人の正答率(分からない所は推し量った値)から、約89.8%と見積もられています。
答えを選ぶ形でなくても作れます。2021年の GSM8K は、小中学生向けの算数の文章題を約8500問集めた試験で、どの問題も2〜8回の計算を重ねて解けます。採点は、AIが最後に出した答えの数が合っているかで決めます。2023年の SWE-bench は、よく使われている12のプログラム(誰でも中身を見られるもの)で実際に報告された不具合などを、AIに直させる2294問の試験です。AIが直したプログラムを、前もって用意した確かめ用のプログラム(テスト)で全部動かし、どれも正しく動けば、解けたことになります。
共通の試験があると、研究者どうしが、同じ物差しで工夫を比べられます。写真に写った物を1000種類の中から当てる大会(ImageNet の大会)では、毎年、研究チームが同じ試験で競いました。間違いの割合(AIが挙げた5つまでの答えの中に、正解が無かった写真の割合。低いほど良い)は、2010年の28.2%から、2014年には6.7%まで下がりました。試験の答えは参加者に見せず、AIの答えを送ってもらって、主催する側が採点しました。
なぜ、次々に新しい試験が作られるの?
AIがよくなると、試験が易しすぎて、差が付かなくなるからです。多くのAIが満点近くを取るようになることを、飽和と呼びます。MMLU で、2020年に GPT-3 の一番大きな版が取った43.9%は、2023年には GPT-4 で86.4%(会社の発表)になり、2025年初めには、主なAIが90%を超えるようになっていました。MMLU や、算数の文章題の GSM8K のような前からの試験は、もう差が付きにくくなっています。
そこで、もっと難しい試験が作られます。2025年に発表された Humanity's Last Exam(「人類最後の試験」という意味。略して HLE)は、世界中の専門家が作った、数学・人文学・自然科学など、たくさんの分野の2500問の試験です(最初に発表した版では3000問でした)。問題を集めるときに、その時の主なAIに解かせ、正しく答えられた問題は入れませんでした。論文の表では、2025年初めの主な8つのAIの正答率は、2.7〜13.4%でした。
新しい試験も、いつまでも難しいとは限りません。2023年に作られた SWE-bench では、一番よいAIが解けた割合が、2023年の終わりの4.4%から、2024年の終わりには71.7%まで上がりました。ただし71.7%は、人が確かめて選んだ一部の問題(SWE-bench Verified)での値で、AIを作った会社の発表です。
HLE を作った研究者たちも、ベンチマークはすぐに飽和する、と書いています。そのうえで、学校の試験のような、答えの決まった問題でAIを試すのは HLE が最後になるかもしれないが、AIを測る試験はこれで終わりではない、とも書いています。
点数は、どこまで信じていいの?
試験の問題と答えが、AIが学ぶデータ(学習データ)に紛れ込むと、AIが解き方ではなく答えを覚えて、点が実力より高く出ることがあります。これを、データの汚染と呼びます。今の大規模言語モデル(ChatGPT などで使う、文を書くAI)は、ネットの大量の文章から学ぶので、試験の問題がどこかに載っていれば、作る側が気づかないうちに入ることがあります。OpenAI は、2023年の GPT-4 の報告書で、ある試験の一部がうっかり学習データに混ざっていたので、その結果は載せなかった、と書いています(会社の報告)。
汚染を確かめる手の1つは、同じくらいの難しさの新しい問題を作って比べることです。2024年の研究では、GSM8K に似せた算数の文章題を、人が新しく1205問作り、いろいろなAIに、前からの問題と新しい問題の両方を解かせました。すると、新しい問題で正答率が最大8ポイントほど(100問なら8問ぶん)下がるAIがあり、研究者たちは、こうしたAIが前からの試験に合わせすぎている(過学習)と見ています。また、GSM8K の問題文を、AIがどれだけすらすら書けそうかも測りました(問題文の続きを前から順に予想させ、元の文どおりに当たりやすいほど、その文を前に読んだことがありそうと見る)。すると、すらすら書けそうなAIほど、点の下がり方が大きい傾向がありました。ただ、それで説明できない例もあり、試験に似た問題を集めて学ばせたことなども原因になりうる、と研究者たちは書いています。一方、その時点で一番進んだAIの多くは、2つの試験でほぼ同じ点でした。例えば GPT-4 は、前からの問題で91.1%、新しい問題で92.3%で、差は小さく、ほぼ同じと見てよい範囲でした。
作る側も手を打っています。写真の大会(ImageNet の大会)は、試験の答えを公開せずに採点しました。HLE は、AIが公開の問題に合わせすぎていないかを確かめるため、問題の一部を公開せずに取っておいています。2024年の算数の研究も、新しい問題が学習データに紛れ込まないよう、問題をすぐには公開しませんでした。SWE-bench は、AIが学び終えた後に報告された不具合で、新しい問題を足せるように作られています。
AIが、試験だと気づくこともあります。2025年の研究では、AIに、試験の問題を解いたときのやり取りと、本番で人がAIを使ったときのやり取りを読ませると、主なAIは、どちらが試験のものかを、当てずっぽうよりずっとよく見分けました。試験のときだけ振る舞いが変わるなら、点は本番の様子を表しません(詳しくは「評価認識」のページ)。
点数の表は、どう読めばいいの?
ひとことで言うと、点数は「その試験を、その測り方で解いたときの成績」です。比べるのは同じ試験・同じ条件で測った点どうしにして、誰が測ったか(AIを作った会社の発表か、ほかの人か)と、自分の使い方に近い試験かも見ます。
まず、どの試験の点が載っているかを見ます。どの試験を載せるかは、発表する側が選ぶので、そのAIの得意な試験ばかりが並ぶこともありえます。2022年の研究は、それまでの有名なAIの中には、同じ試験の点が1つも無い組もあった、と書いています(それでは、点を並べて比べられません)。
次に、同じ条件で測った点かを見ます。同じAIでも、頼み方(AIへの質問や指示の書き方)や採点の細かい決まりで、点は変わります。2024年の算数の研究では、頼みの文に入れるお手本の例題と、答えの書き方を変えただけで、同じ算数の文章題の試験で、あるAIの正答率が約5ポイント下がりました。別々の所で測った点を並べるときは、条件がそろっているかを確かめる必要があります。
点数を上げること自体が目当てになると、点と本当の力がずれていくこともあります。AIの研究でも、物差しを重く見すぎると、点だけを上げるずるや、目先の数字ばかりを追うことにつながる、と指摘されています。人の世界で「グッドハートの法則」として知られる見方で、よく引かれる言い方では「測るものが目標になると、それはよい物差しではなくなる」。もとは経済学者のグッドハートが1975年に、イギリスのお金の政策について書いた考えで、この短い言い方は、後に別の研究者が書いたものだとされています(詳しくは「報酬ハッキング」のページ)。
最後に、点数は使ったときの感じと合わないこともあります。決まった問題の試験は、答えが1つに決まらない頼みや、人の好みに合うかを測りにくいからです。そこで Chatbot Arena は、決まった問題を使わず、使う人が自由に質問し、名前を隠した2つのAIの答えを見比べて、よい方に投票する仕組みにしました(2023年に始まり、2024年の論文にまとめられました)。2024年1月までに集まった票は24万を超えました。その一部の対戦を、詳しい人2人にも判定してもらうと、使う人の票と同じ方を選んだのは7〜8割ほどでした。詳しい人どうしの一致も同じくらいだったので、研究者たちは、使う人の票と詳しい人の判定はよく一致している、と見ています。
レッドチームとは、何が違うの?
ベンチマークは、決まった問題で点数を出し、AIどうしを比べる共通の試験です。レッドチームは、決まった問題を使わず、攻める側に立って、AIの弱いところや危ない振る舞いを、わざと探す役です(詳しくは「レッドチーム」のページ)。ベンチマークは、どのAIがどれだけできるかを比べるのに向き、レッドチームは、思ってもいなかった危なさを見つけるのに向いています。
2つはつながっています。OpenAI は、レッドチームの人たちが試した頼みの文をもとに、何度でも同じように試せる自動の試験を作る、と書いています(会社の説明)。レッドチームで見つけた弱いところが、後で決まった問題の試験になるのです。
点数とは別の形で、力を表す物差しもあります。「時間地平線」は、AIエージェントがやり遂げられる作業の長さを、人ならかかる時間で表します。例えば、人の専門家なら1時間かかる作業を、AIが2回に1回やり遂げられるなら「1時間」です(詳しくは「時間地平線」のページ)。
確認問題
問12020年に作られた試験 MMLU は、数学・歴史・法律など57の分野の、4つの答えから1つを選ぶ問題でできている。作った研究者たちは、文を書くAI GPT-3 の、大きさ(中の数〔パラメーター〕の多さ)が違う4つの版に解かせた。一番大きな版の正答率(正しく答えた割合)は、どれくらいだった?
答えと解説
答え:A 約44%
GPT-3 の一番大きな版は43.9%で、当てずっぽう(4つから1つで25%)より約20ポイント高い点でした。小さめの3つの版は25%前後で、当てずっぽうとほぼ同じでした。それでも、専門家の正答率(約89.8%と見積もられた)には遠く届きませんでした。その後、主なAIが90%を超えるようになり、この試験では差が付きにくくなりました。
問22024年の研究で、小中学生向けの算数の文章題の試験 GSM8K と同じくらいの難しさの問題を、人が新しく作った。その時点で一番進んだAI(GPT-4 など)と、ほかのいろいろなAIに、前からの問題と新しい問題の両方を解かせた。新しい問題での点は、前からの問題と比べてどうだった?
答えと解説
答え:C 一番進んだAIはほぼ同じで、ほかのAIの一部ははっきり下がった
その時点で一番進んだAIの多くは、2つの試験でほぼ同じ点でした。例えば GPT-4 は、前からの問題で91.1%、新しい問題で92.3%でした。一方、ほかの一部のAIは、新しい問題で正答率が最大8ポイントほど下がり、前からの問題の文をすらすら書けそうなAIほど、下がり方が大きい傾向がありました。点の高いAIがいつも答えを覚えている、というわけではないのです。
問32023年に作られた試験 SWE-bench は、実際のプログラムで報告された不具合などを、AIに直させるものだ。その年ごとに一番よいAIが解けた割合を比べると、2023年の終わりは4.4%だった。2024年の終わりの一番よい値(AIを作った会社が発表した、人が選んだ一部の問題での値)は、どうだった?
答えと解説
答え:B 70%を超えるまで上がった
2024年の終わりには、人が確かめて選んだ一部の問題で71.7%を解いたと、AIを作った会社が発表しました。難しく作った新しい試験でも、AIがよくなると、短い間に点が大きく上がることがあります。こうして試験がすぐ易しくなりすぎるので、もっと難しい試験が次々に作られています。
関連用語
- 時間地平線
- 評価認識
- レッドチーム
- 過学習
- 大規模言語モデル
- パラメーター
- 推論モデル
- AIエージェント
- データポイズニング
- 報酬ハッキング
- 事前学習
- データ汚染(コンタミネーション)
- グッドハートの法則
- リーダーボード
参考文献と確かめ方
- Hendrycks ほか「Measuring Massive Multitask Language Understanding」(カリフォルニア大学バークレー校・コロンビア大学・シカゴ大学・イリノイ大学。arXiv、第1版2020年9月、第3版2021年1月。要旨・1章・3章〔57の分野・1万5908問・易しいものから専門家向けまで・4つの選択肢〕・4章〔4つの大きさの GPT-3・一番大きな GPT-3 の43.9%・小さめの3つは25%前後・専門家の見積もり約89.8%と、その見積もり方〔もとの試験で上位5%の人の正答率など〕〕を読んだ。2026年11月16日に読んだ)
- Cobbe ほか「Training Verifiers to Solve Math Word Problems」(OpenAI。arXiv、2021年10月。要旨・1章・2章〔GSM8K の約8500問・2〜8段の計算・最後の答えで採点〕を読んだ。2026年11月16日に読んだ)
- Jimenez ほか「SWE-bench: Can Language Models Resolve Real-World GitHub Issues?」(プリンストン大学・シカゴ大学、ICLR 2024。arXiv、第1版2023年10月、第3版2024年11月。要旨と、HTML 版の2章〔作り方・2294問・12のプログラム・テストが全部通れば解けたとする決まり・学び終えた後の問題を足せること〕を読んだ。2026年11月16日に読んだ)
- Russakovsky ほか「ImageNet Large Scale Visual Recognition Challenge」(著者12人。arXiv、第1版2014年9月、第3版2015年1月。1章・課題と採点のしかた〔5つまでの答え・試験の答えを公開しない〕・6.1節〔28.2%から6.7%へ〕を読んだ。2026年11月16日に読んだ)
- Phan ほか「Humanity's Last Exam」(Center for AI Safety と Scale AI がまとめ、著者1178人。arXiv、第1版2025年1月、第12版2026年10月。HTML 版で、要旨〔MMLU で90%超・2500問・分野・世界中の専門家〕・問題の集め方〔AIが正しく答えた問題を落とす〕・表1〔8つのAIの正答率2.7〜13.4%〕・公開しない問題・飽和と「最後の学校の試験」の所を読んだ。第1版の要旨と表1〔3000問・7つのAI〕とも比べた。2026年11月16日に読んだ)
- Zhang ほか「A Careful Examination of Large Language Model Performance on Grade School Arithmetic」(Scale AI、NeurIPS 2024 Datasets and Benchmarks Track。arXiv、第1版2024年5月、第4版2024年11月。第4版の HTML 版で、要旨〔最大8%の低下・問題文の書き出しやすさとの関係・一番進んだAIはほぼ変わらない〕・GSM1k の作り方〔人が書いた1205問〕・表1〔普通の頼み方〕と表2〔別の頼み方:GSM8K 以外のお手本の例題と、少し違う答えの書き方〕・関係の分析と外れる例・公開しない理由を読んだ。2026年11月16日に読んだ)
- OpenAI「GPT-4 Technical Report」(arXiv、第1版2023年3月、第6版2024年3月。HTML 版の表2〔MMLU 86.4%〕と、BIG-bench の一部がうっかり学習データに混ざっていたので結果から除いた、という所を読んだ。会社の報告。2026年11月16日に読んだ)
- Stanford HAI「The 2025 AI Index Report」の「Technical Performance」の章(スタンフォード大学の人間中心のAI研究所の報告。章のページで、要点〔2023年に作られた MMMU・GPQA の1年の伸び18.8・48.9ポイント、SWE-bench の4.4%から71.7%〕と、MMLU や GSM8K などの飽和の所を読んだ。章の PDF の2.5節の SWE-bench の所〔71.7%は、人が確かめて選んだ一部の問題 Verified での OpenAI の o3 の値で、会社の発表〕と、2.7節の GPQA の所も読んだ。2026年11月16日に読んだ)
- Liang ほか「Holistic Evaluation of Language Models」(TMLR 2023。arXiv、第1版2022年11月、第2版2023年10月。要旨〔それまで主な言語モデルが試されていたのは中心の課題の平均17.9%、同じ課題が1つも無い有名なモデルの組もあった〕を読んだ。2026年11月16日に読んだ)
- Chiang ほか「Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference」(カリフォルニア大学バークレー校・スタンフォード大学・カリフォルニア大学サンディエゴ校。arXiv、2024年3月。HTML 版で、1章〔決まった問題の試験の限界〕・仕組み〔名前を隠した2つのAIを見比べて投票〕・2023年4月から集めて2024年1月までに24万を超えた票・6.3節〔選んだ160の対戦を詳しい人2人も判定し、使う人の票との一致72〜83%・詳しい人どうしの一致も同じくらい〕を読んだ。2026年11月16日に読んだ)
- Needham ほか「Large Language Models Often Know When They Are Being Evaluated」(著者5人。arXiv、第1版2025年5月、第3版2025年7月。要旨〔61の資料からの1000件の記録・MMLU や SWE-bench などの試験を含む・主なAIは当てずっぽうより上に見分けた〕を読んだ。2026年11月16日に読んだ)
- Ahmad ほか「OpenAI's Approach to External Red Teaming for AI Models and Systems」(OpenAI。arXiv、2025年1月。HTML 版で、1章と3.2節〔レッドチームの人たちが作ったデータから、繰り返し使える安全の試験を作る〕を読んだ。会社の説明。2026年11月16日に読んだ)
- METR「Task-Completion Time Horizons of Frontier AI Models」(時間地平線の決め方の所を読んだ。2026年11月16日に読んだ)
- Manheim と Garrabrant「Categorizing Variants of Goodhart's Law」(arXiv、2018年3月。グッドハートの1975年の言い方〔「Problems of Monetary Management: The U.K. Experience」から引いた所〕を読んだ。2026年11月16日に読んだ)
- FORRT(開かれた、確かめ直せる研究を教える団体)の用語集「Goodhart's Law」(「When a measure becomes a target, it ceases to be a good measure」という言い方と、それを1997年の Strathern の論文の言葉とする所を読んだ。2026年11月16日に読んだ)
- Thomas と Uminsky「The Problem with Metrics is a Fundamental Problem for AI」(arXiv、2020年2月。要旨〔物差しを重く見すぎると、ずるや目先の目標ばかりを追うことにつながる〕を読んだ。2026年11月16日に読んだ)
- The American Heritage Dictionary of the English Language「benchmark」(アメリカの英語の辞書。測量の印の意味・名前のわけ〔標尺を載せる台〕・「基準」の意味を読んだ。2026年11月16日に読んだ)
- NOAA(アメリカ海洋大気庁)「Geodetic Bench Marks」(NOAA Manual NOS NGS 1、1978年9月。前書きの、ベンチマークの説明〔高さを決めた長くもつ点で、ほかの測量の基準にする〕を読んだ。2026年11月16日に読んだ)
- 国土地理院「水準点Q&A」(水準点の目的は高さの基準・主要国道沿いに置く・全国で約1万6000点、の所を読んだ。2026年11月16日に読んだ)
- 大和証券「金融・証券用語解説[ベンチマーク]」(投資信託が運用の目標にし、成果を確かめるときに使う指標、という意味。2026年11月16日に読んだ)
- SPEC(Standard Performance Evaluation Corporation)のトップページ(コンピューターの性能と電力の効率を測る、決まったベンチマークを作って保つ団体、という説明。2026年11月16日に読んだ)
- IBM「LLMベンチマークとは」(日本語の説明。「LLMベンチマーク」の呼び名。2026年11月16日に読んだ)
このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月16日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。
AIの用語
- アライメント偽装
- AIアライメント
- AIエージェント
- エンベディング
- 解釈可能性
- 過学習
- 拡散モデル
- 機械学習
- 強化学習(RL)
- 形式検証
- 検索拡張生成(RAG)
- 混合エキスパート(MoE)
- コンテキストウィンドウ
- 再帰言語モデル(RLM)
- 再帰的自己改善(RSI)
- サブリミナル学習
- 時間地平線
- 思考の連鎖(CoT)
- システムプロンプト
- 事前学習
- 自動形式化
- シャットダウン抵抗
- シンギュラリティ
- 人工知能(AI)
- 深層学習
- 推論モデル
- スリーパーエージェント
- 生成AI
- 潜在空間
- 創発的ミスアライメント
- 大規模言語モデル(LLM)
- 脱獄
- 段階的無力化
- 知能爆発
- 超知能(ASI)
- ディープフェイク
- データポイズニング
- 敵対的生成ネットワーク(GAN)
- 転移学習
- トークン
- トランスフォーマー
- ニューラリーズ
- ニューラルネットワーク
- ハイパーパラメーター
- バックドア
- パラメーター
- ハルシネーション
- 汎化
- 汎用人工知能(AGI)
- 評価認識
- ファインチューニング
- プロンプト
- プロンプトインジェクション
- ペルソナベクトル
- 読んでいるページベンチマーク
- 報酬ハッキング
- Lean
- レッドチーム