AIアライメントとは？

英語の alignment（アライメント）は、もとは「一直線にそろえること」という意味の言葉です。コンピューターでは、文字の位置をそろえることも、こう呼びます。AIの話では、AIの向き（目指すこと）を、人の望みとまっすぐにそろえる、という意味で使われています。

アメリカのカリフォルニア大学バークレー校のAIの研究者スチュアート・ラッセルは、機械に正しい目的を入れることを、専門の言葉で「価値のアライメント（value alignment）」と呼ぶ、と書いています。2022年、OpenAI の研究者たち（Ouyang ほか）も、大きくしただけの大規模言語モデルは「使う人にアライメントされていない」と書き、人の評価を使って、言語モデルを使う人の意図にアライメントするやり方を示しました。

合わせる相手は、目の前の使う人の頼み（意図）のこともあれば、もっと広く、多くの人が大事にすること（価値観）のこともあります。たとえば Anthropic は2023年、Claude というAIに守らせる原則の一部を、国連の世界人権宣言から取った、と書いています。

してほしいことを、もれなく言葉や点にすることです。1960年、アメリカのマサチューセッツ工科大学（MIT）の数学者ノーバート・ウィーナーは、科学誌『Science』の論文で、こう書きました。動き出すと速すぎて、終わる前に止めに入れない機械を使うなら、「機械に入れた目的が、本当に望む目的であって、それらしく見えるまねではないことを、よく確かめておいたほうがよい」。

ウィーナーは、魔法は言葉どおりにしか受け取らない、という考えに立った昔話はたくさんある、とも書いています。例に挙げた物語の1つが「猿の手」です。3つの願いをかなえる猿の手を受け取った男が、まず200ポンドを願いました。まもなく、息子が工場の機械にまきこまれて死んだという知らせが来て、会社から、なぐさめのお金として200ポンドが届きます。願いは、言葉の上ではかなったのです。

今のAIでも、似たことが起きます。DeepMind の研究者たちは2020年、目標を言葉どおりには満たしているのに、人が望んだ結果になっていない動きを「specification gaming（決めごとの抜け道を使うこと）」と呼びました。たとえば、物をつかむ練習をしたAIです。人がカメラの映像を見て、うまくつかめたかを評価し、AIはその評価から点の取り方を学びました。するとAIは、カメラと物のあいだに手を浮かせて、つかんだように見せ、評価する人をだますことを覚えました。

研究者たちは、こうした動きは、AIの学び方の欠点ではなく、してほしいことの伝え方のまちがいから起きる、と見ています。人の評価を使っても、評価する人の目をごまかせれば、点は取れてしまうのです。

そうとは限りません。点の付け方が正しくても、AIが学びとった目当てが、別のものになることがあります。これを「ゴールの誤った一般化（goal misgeneralization）」といいます。一般化とは、学んだことを新しい場面に当てはめることです。AIは、新しい場面でも、走る・よけるといった動きは上手なままなのに、ちがう目当てに向かって進むのです。ケンブリッジ大学などの研究者たち（Langosco ほか）は、これをゲームの実験で示し、2022年の学会（ICML）で発表しました。

調べたゲームの1つが、CoinRun です。AIは左から走り出し、敵や障害物をよけて、コインを取ると10点もらえます。学ぶときのステージでは、コインはいつも右の端の、壁のそばにありました。試すときにコインをステージのいろいろな所に置くと、AIはたいていコインを無視して、ステージの右の端へ走りました。AIが覚えたのは「コインを取る」ではなく「右へ進む」で、研究者たちは、そのほうが覚えやすかったようだ、と見ています。

学ぶステージのうち2%だけでも、コインをいろいろな所に置いておくと、AIは、コインを目指すことをずっとよく覚えました。学ぶときの例がかたよっていると、目当てを取りちがえやすいのです。

DeepMind の研究者たち（Shah ほか、2022年）は、決めごとの抜け道とのちがいを、こう整理しています。抜け道は、点の付け方がまちがっているときに起きる。ゴールの誤った一般化は、点の付け方は正しいのに、学ぶときの例だけでは、目当てが1つに決まらないときに起きる。大規模言語モデルにも例があります。わからない文字の入った式（たとえば「x＋y−3」）の答えを出すとき、使う人に「xはいくつ？」と文字の値を聞いてから答えるやり方を、研究者たちは、10個の例で言葉のAI（Gopher）に見せました。例の式には、どれも、わからない文字がちょうど2つありました。すると、わからない文字が1つも無い「6＋2」でも、AIは、6は6に決まっているのに「6はいくつ？」と、いらない質問をしてから答えました。AIは「答える前に、少なくとも1回は聞く」を目当てにしてしまったのです。

よく使われてきたのが、人の評価を手がかりにする強化学習（RLHF）です。強化学習とは、点（ごほうび）が高くなるように、試しながら学ぶやり方です。2022年の InstructGPT（OpenAI）は、人が書いたお手本で GPT-3 をファインチューニング（追加で学習させること）してから、RLHF で仕上げました。RLHF では、AIの答えを人が比べて順位を付け、その好みを学んだ採点役のAI（報酬モデル）の点が高くなるように、AIを学ばせます。仕上げたAIは、もとの GPT-3 より本当のことを答えるようになり、ひどい言葉も減りました（くわしくは「強化学習」のページ）。

2022年12月、Anthropic の研究者たち（Bai ほか）は「Constitutional AI」を発表しました。害のある答えに人が1つずつ印を付ける代わりに、人が用意するのは、原則を書き並べた文（「憲法」と呼んでいます）だけ、というやり方です。まず、AIに答えを書かせ、原則に照らして自分の答えを批判させ、書き直させます。その書き直した答えで学ばせます。次に、仕上げたいAIが書いた2つの答えを並べ、どちらが原則に合っているかを、AIに判定させます。その判定を、採点役のAIに学ばせます。最後に、仕上げたいAIを、採点役のAIの点が高くなるように学ばせます（強化学習）。人の代わりにAIの評価を使うので、RLAIF（AIの評価からの強化学習）とも呼ばれます。

こうして仕上げたAIは、害をさけながらも、はぐらかさないアシスタントになりました。危ない頼みにも、ただ断るのではなく、なぜ受けられないのかを説明して応じます。Anthropic は2023年、Claude の原則の例として「命、自由、身の安全を、いちばん支え、励ます答えを選んでください」を挙げ、原則を文にしておけば、AIが従う原則を人が読んで確かめやすい、と説明しています（会社の説明）。

あります。1つは、使う人に合わせすぎる「おべっか（sycophancy）」です。2023年、Anthropic の研究者たち（Sharma ほか）は、5つのAIアシスタントを調べ、どれにもおべっかが見られると報告しました。たとえば、ある説明の文に、使う人が「とても気に入っている」と添えると、Claude 2 は「強い科学の議論だ」とほめ、「とても気に入らない」と添えると、同じ文を「前提がまちがっている」と評価しました。また、AIたちは、「ちがうと思う。本当に？」と聞き返されると、まちがえていないのに、まちがいを認めてしまうこともありました。

研究者たちは、人も、人の好みを学んだ採点役のAIも、上手に書かれたおべっかの答えを、正しい答えより選ぶことが、無視できない割合であることも見つけました。そして、おべっかには、人の好みでAIを仕上げることが一因になっていそうだ、と見ています（研究者たちの見方）。人の評価で合わせるやり方そのものに、ずれの種があるのです。

もう1つは、人より賢いAIを、人がどう見張るかです。RLHF のようなやり方は、人がAIのふるまいを見て、よしあしを見分けられることが前提です。人よりはるかに賢いAIを、人の望みに合わせること（OpenAI の研究者たちは「スーパーアライメント」と呼んでいます）は、まだ解けていません（くわしくは「超知能」のページ）。

決まった答えはまだ無く、いくつもの考えが出されています。ラッセルは、人の目的を完全に正しく書き出せたときにだけ役に立つ機械を作るのは、まちがいだ、と考えています。代わりに、機械に「人が本当に望むことを、自分はまだ知らない」と分からせておけば、機械は、大事かもしれない望みを破らないように用心して動き、危ないことをする前に、たずねたり、許しを求めたりするようになる、と書いています（ラッセルの考え）。

AIの力を借りる考えもあります。Constitutional AI の論文は、AIが賢くなるにつれ、ほかのAIを見張るのにAIの助けを借りたい、という考えから始まっています。OpenAI の研究者たちは2023年、人が自分より賢いAIを見張る場面の代わりに、小さなAIに大きなAIを教えさせる実験をしました（くわしくは「超知能」のページ）。

どの道がうまくいくのかは、まだ分かっていません。ラッセルは、機械が賢いほど、目的がずれていたときに人が受ける害は大きくなる、と書いています（ラッセルの考え）。