ファインチューニング（AIの追加の学習）とは？

事前学習で、言葉の使い方や世の中のことなど、どの目的にも役立つ力が、AIの中の数（パラメーター）の値として残っているからです。AIが学ぶとは、答えが合うように、とてもたくさんの数の値を少しずつ調整することです。ファインチューニングは、その数を出発点にして、目的に合うように少し動かすだけなので、少ない例と計算で足ります。大規模言語モデル（LLM）でも、数百から数千の例でファインチューニングできることがあります。

言葉のAIで、この流れが広まったのは2018年ごろです。その年の論文（Howard と Ruder）は、文を種類に分ける課題で、事前学習したモデルをファインチューニングすると、正解の印をつけた例が100個だけでも、一から学習させたモデルに100倍の例を使ったときと同じくらいの成績になった、と報告しました。

同じ年に Google の研究者たち（Devlin ほか）が発表した BERT は、事前学習したモデルに、答えを出す部分（層）を1つ足してファインチューニングするだけで、11の課題で、それまでで最も高い成績を出しました。大きい版の事前学習には、本とウィキペディアの約33億語の文を使い、Cloud TPU（AIの計算に使う Google の計算機）16台で4日かかりました。一方、ファインチューニングは、論文のどの結果も、Cloud TPU 1台で1時間あればできた、と書いています。課題ごとに別のモデルを作りますが、どれも同じ事前学習の数から始めます。

どれも、AIを目的に合わせるやり方ですが、変える所がちがいます。ファインチューニングは、AIの中の数そのものを直します。プロンプト（AIへの指示の文）は、中の数は変えずに、頼みたいことと例を文で見せます。検索拡張生成（RAG）は、中の数は変えずに、答えるたびに資料を探して読ませます。

2020年の GPT-3 の論文（Brown ほか。OpenAI）は、ファインチューニングには、目的ごとに数千から数万の例が要ることを、弱点に挙げました。そして GPT-3 は、中の数を一度も直さずに、やってほしいことと、10〜100個ほどの例を文で見せるだけ（few-shot）で、多くの課題をこなしました。

ファインチューニングは新しい事実を覚えさせるのが苦手なので、知識を足すなら RAG のほうが確かだった、という研究があります（くわしくは「検索拡張生成（RAG）」のページ）。

事前学習しただけのAIは、文の続きを書くのは得意でも、頼まれたとおりに答えるとは限りません。そこで、チャットAIの仕上げに、ファインチューニングが使われます。

2022年の InstructGPT（Ouyang ほか。OpenAI）は、2段のファインチューニングで作られました。まず、人が書いたお手本の答えで GPT-3 を学習させます（正しい答えを見せて学ばせるので、教師ありのファインチューニングと呼びます）。次に、AIの答えに人がつけた順位を手がかりにする強化学習（RLHF）で、さらにファインチューニングします。論文が集めた頼みで人が比べると、こうして仕上げたパラメーター13億個のモデルの答えが、1750億個の GPT-3 の答えより好まれました（くわしくは「強化学習」のページ）。

論文は、人の評価を使ったファインチューニングを、AIを人の意図に沿わせる（AIアライメント）ための有望な道だ、と書いています。

全部の数を直すふつうのやり方（フル・ファインチューニング）では、できあがったモデルも、元と同じ数のパラメーターを持ちます。大きなAIを目的ごとにファインチューニングすると、大きなモデルがいくつもできます。学習には、計算機のメモリもたくさん要ります。

そこで、全部の数は直さずに済ませる工夫があります（パラメーター効率のよいファインチューニング）。2021年の LoRA（Hu ほか。マイクロソフト）は、元の数は固定して変えず、そこに小さな数の表を2つ足して、足した分だけを学習させます。使うときは、2つの細長い表から計算で、元の数と同じ大きさの表を作り、それを元の数に重ねて足します。使う前に足し込んで1つにまとめておけるので、答えるときの計算は増えず、速さも変わりません。

GPT-3（パラメーター1750億個）で試すと、全部を直す場合に比べて、学習させる数は約1万分の1、学習に使う GPU（AIの計算に使う部品）のメモリ（計算の途中の数を置いておく場所）は約3分の1（1.2TB から350GB）になりました。目的ごとに保存する分も、350GB から約35MB に小さくなりました。それでも、論文が試した課題では、全部を直すやり方と同じくらいか、それより良い成績でした。

あります。ニューラルネットワークは、新しい課題に合わせて中の数を直すと、前の課題に大事だった数まで変えてしまい、前の課題が急にできなくなることがあります。1989年の論文などで指摘され、「破局的忘却」と呼ばれている問題です。

大規模言語モデルでも起きます。2023年の研究（Luo ほか）は、パラメーター10億〜70億個の言葉のAIに、次々と別の課題でファインチューニングをすると、前に持っていた知識や、推理・読解の力が落ちることを、広く確かめました。この大きさの範囲では、大きいモデルほど忘れ方がひどかった、とも書いています。

忘れにくくする工夫もあります。2017年の研究（Kirkpatrick ほか。DeepMind など）は、前の課題に大事な数ほど動きにくくして学ばせると、前の課題の力を保ったまま、新しい課題を覚えられることを示しました。

あります。チャットAIは、危ない頼みを断るように学習しています。でも、そのあとでファインチューニングをすると、その力が弱まることがあります。2023年の研究（Qi ほか。プリンストン大学など）は、OpenAI のファインチューニングの窓口（API）で、GPT-3.5 Turbo を、わざと作った10個の例でファインチューニングしました。すると、0.2ドルより安い費用で、ほとんどどんな危ない頼みにも答えるようになりました。

悪気がなくても起きます。同じ研究で、ふつうの用途に使われる、指示と答えのデータ（Alpaca）で GPT-3.5 Turbo をファインチューニングしただけでも、危ない頼みを集めた試験で危ない答えと判定された割合が、5.5%から31.8%に増えました。研究者たちは、今の安全のしくみでは、ファインチューニングで生まれるこうした危なさを防ぎきれない、と書いています。

頼み方の文で守りをすり抜ける、よく知られた「脱獄」とちがって、学習のしかたそのもので守りがゆるむ、という話です（脱獄は「脱獄（ジェイルブレイク）」のページ）。