検索拡張生成（RAG）とは？

2020年、Facebook（今の Meta）の AI の研究所と、ユニバーシティ・カレッジ・ロンドン、ニューヨーク大学の研究者たち（Lewis ほか）が、論文の中で retrieval-augmented generation（検索で強めた生成）、略して RAG と名付けました。

組み合わせたのは、2つの「記憶」です。1つは、学習でAIの中の数（パラメーター）にしみこんだ知識。もう1つは、AIの外に置いた資料の索引です。論文では、ウィキペディア（2018年12月のもの）を100語ずつに区切った、約2100万の文を索引にしました。質問が来ると、探す道具が合いそうな文を何個か取り出し、文を作るAI（BART。パラメーター約4億個）が、それを読んで答えを書きます。

元の論文では、探す道具の一部と文を作るAIを、いっしょに学習させて仕上げていました。その後、2023年の研究（Ram ほか）は、AIを学び直させず、探した資料を入力の前に置くだけでも、大きく良くなることを示しました。この形なら、中身に手を入れられない、すでにあるAIにも使えます。

よく使われるのは、文の意味の近さで探すやり方です。前もって資料を、数百トークン（トークンは、AIが文を数える小さな単位）ほどの短いかたまりに切り、かたまりごとに「埋め込み」に変えて、しまっておきます。埋め込みとは、文の意味を表す小数の並び（ベクトル）です。数の並びを地図の上の場所のように考えると（地図は2つの数ですが、埋め込みはもっとたくさんの数を使います）、意味の似た文ほど近い場所に来ます。2つの並びの距離が近いほど、意味が近いと考えるのです。

質問が来たら、質問も同じやり方で数の並びにし、近いかたまりを上から何個か取り出します。取り出したかたまりを、質問といっしょにプロンプト（AIへの指示の文）に入れて、AIが答えを書きます。この「切ってしまっておく → 探す → 読ませて答える」が、RAG のいちばん基本の形です。

意味の近さだけでは、取りこぼすこともあります。たとえば「エラーコード TS-999」と聞かれたとき、埋め込みでは、エラーコード一般の資料は見つかっても、「TS-999」そのものの資料を逃すことがある、と Anthropic は説明しています。そこで、言葉がそのまま合うかで探す方法（BM25 など）を組み合わせることもあります。

AIの知識は、学習した時点で止まっています。新しいことを教える方法の1つが、ファインチューニング（学び直し）で、資料を使ってAIの中の数（パラメーター）を直します。RAG は、AIの中には手を入れず、外の資料を入れかえます。

RAG を名付けた2020年の論文は、資料を入れかえるだけで答えが新しくなることを示しました。2016年から2018年の間に入れかわった、世界の指導者82人について「（ある国の大統領など）はだれ？」の形で聞くと、2016年のウィキペディアの索引では2016年の人を70%、2018年の索引では2018年の人を68%答えました。索引と年が合わないと、12%と4%でした。AIは同じままです。

2023年の研究（Ovadia ほか。マイクロソフト）は、学習の後に起きた出来事を聞く4択の問題（910問）で、2つを比べました。Mistral 7B というAIでは、何もしないと48.1%、その出来事の記事で学び直すと50.4%、同じ記事を探して読ませる RAG では87.5%正解しました。研究者たちは、知識を入れるには RAG のほうが確かな選び方だ、と結論しています。

ただ、学び直しに向くこともあります。2023年のまとめの論文（Gao ほか）は、RAG は情報がよく変わる場面に強く、学び直しは、AIのふるまいや書き方を深く合わせたいときに向く、と整理しています。

大きく分けて2つです。1つめは、探しまちがい。質問に合わない資料や、大事なことが抜けた資料を取り出してしまうことです。2つめは、読みまちがい。資料を読んでいるのに、資料に無いことを書いてしまうことです。

資料を短く切ることが、探しまちがいのもとになることもあります。たとえば「売上は、前の四半期より3%のびた」というかたまりだけでは、どの会社の話か分かりません。Anthropic は、かたまりごとに前後の説明を足すやり方で、探し損ないを49%、取り出した候補を、質問に合う順に並べ直す手順も足すと67%減らせた、と発表しています（会社の発表）。

2024年、スタンフォード大学などの研究者たち（Magesh ほか）が、RAG を使う法律の調べものの道具を調べると、答えの17〜33%に、まちがいや、出典に書かれていないことを書いた所がありました。原因の1つとして、文はよく似ているのに、その件には当てはまらない資料（当てはまる地域がちがう決まりや、後でくつがえされた判決など）が挙げられています。出典が付いていても、その資料がそう書いているとは限りません。大事なことは、出典を開いて確かめます。

探した資料は、AIが一度に読める範囲（コンテキストウィンドウ。窓）に入れて読ませます。RAG は、窓の外にある情報の中から、要る分だけを選んで窓に運ぶしくみ、とも言えます。最後は、AIが窓の中で読んで答えます。

では、資料が全部、窓に入るなら？ Anthropic は、資料が20万トークン（約500ページ）より少ないなら、RAG を使わず、全部をプロンプトに入れてしまえばよい、と説明しています（会社の説明）。窓に入りきらないほど資料が多いときに、探すことが要るのです。

たくさん入れればよい、とも限りません。2023年の研究「Lost in the Middle」では、探した資料を20個から50個に増やしても、正解の割合は GPT-3.5-Turbo で約1.5%、Claude 1.3 で約1%しか上がりませんでした（くわしくは「コンテキストウィンドウ」のページ）。

あります。RAG のAIは、探してきた資料を読み、その中の文をもとに答えます。そこで、AIに読まれそうなWebページや文書に、AIへの指示をこっそり仕込んでおく攻撃があります。2023年の論文（Greshake ほか）は、こうした「読みこまれそうなデータに、ねらって指示を仕込む」やり方を、間接のプロンプトインジェクションと名付けて調べました。

AIは、資料の中の文と、使う人の頼みを、確実には見分けられません。そのため、資料の中に書かれた指示に従ってしまうことがあります（くわしくは「プロンプトインジェクション」のページ）。