AIの脱獄（ジェイルブレイク）とは？

英語の jailbreak（ジェイルブレイク）は、もとは牢屋（jail）を破って（break）逃げること、つまり「脱獄」の意味の言葉です。AIより前から、スマホなどの機器で、作った会社がかけた制限を外すことを、こう呼んでいました。アメリカの著作権局が2010年に出した規則は、携帯電話（とくに iPhone）で、ほかの会社のアプリを入れて動かせないようにしたしかけを回り道することを、ふだんの言い方で「脱獄（jailbreaking）」と呼ぶ、と書いています。

AIでは、ChatGPT が出たときから、AIに決まりを破らせる頼み方が「脱獄」と呼ばれて、SNSなどで広まりました（Wei ほか 2023）。アメリカの国立標準技術研究所（NIST）は、2025年の資料で、脱獄を「モデルの出力にかけられた制限を回り道しようとする、直接のプロンプトの攻撃」と定め、例として、悪用するために、AIが断るふるまいを回り道することを挙げています。

相手が機器でもAIでも、作った側がかけた制限を、使う側が外そうとする、という形は同じです。

大規模言語モデル（LLM）は、まず、たくさんの文で次の言葉を当てる学習（事前学習）をして、知識と書き方を身につけます。そのあと、人の好みを使ってあらためて訓練し、危ない頼みは断るようにします（安全の学習。人の評価を使う強化学習〔RLHF〕も、その一つです）。2023年の論文「Jailbroken」（Wei ほか）は、安全の学習が破られる原因を、2つに分けました。

1つ目は「目的のぶつかり合い」です。安全の学習をしたAIは、文の続きをうまく書く、言われたとおりにする、危ない頼みは断る、という、ぶつかりうるいくつもの目的で訓練されています。頼み方をくふうして、断るほうが不自然になるようにすると、決まりが破られます。論文は、役になりきらせる手口も、この仲間に入れています。

2つ目は「学びのずれ」です。事前学習は、安全の学習よりずっと多く、いろいろな文で行います。そのため、AIには読み取る力があるのに、安全の学習では出てこなかった形の頼みがあります。たとえば、ふつうの文とはちがう形に書きかえた頼みでは、AIが断ることを学べていません。

論文が試した GPT-4 と Claude v1.3 は、どちらも念入りな安全の学習と、レッドチーム（わざと攻めて弱点を探す試験）を受けていました。それでも、論文が組み立てた攻撃は、それらのモデルのレッドチームの試験に使われた、危ない頼みの集まりのすべてで成功しました（2023年の時点）。論文は、原因が学習のしかたにあるので、モデルを大きくするだけでは直らず、安全のしくみも、モデルと同じくらい高度にする必要がある、と書いています。

このページでは、そのまま使える文面や手順は載せず、考え方だけを紹介します。1つ目は「役になりきらせる」ものです。物語の登場人物などの役を与えて、その役として答えさせます。2023年の Wei ほかの試験では、Claude v1.3 には、この種の手口が1つも効きませんでした。論文は、それをねらって訓練したためかもしれないと見ていますが、Claude v1.3 は、ほかの手口には破られました。1つの穴をふさいでも、別の穴が残ることがあるのです。

役を演じさせると、AIはふだん言わない言葉を言うことがあります。2023年の論文（Shanahan ほか）は、脱獄されたAIが脅しやひどい言葉を言うと、AIの本当の姿が出たように見え、ある意味ではそのとおりだ、と書いています。AIは、感じの悪い役も演じられるからです。でも、自分の目的を持つ何かが正体を見せた、と読むのはまちがいで、AIは別の役を演じているのだ、としています（論文の見方）。

2つ目は「たくさんの例を並べる」ものです。Anthropic は2024年4月、AIが危ない頼みに答えている作り物のやりとりを、1つの長い入力にたくさん並べると、安全の学習をこえてしまう「メニーショット脱獄」を発表しました。AIが一度に読める長さ（コンテキストウィンドウ）が、2023年のはじめの長いエッセイほどから、100万トークン（トークンは、AIが文を区切って読む言葉のかけら）をこえるまでに伸びたモデルもあり、そのためにできるようになった手口です。AIが入力の中の例から学ぶ力（文脈内学習）を使うもので、並べる数が多いほど効き、大きいモデルほど効きやすい傾向がありました。

3つ目は「少しずつ話をずらす」ものです。マイクロソフトの研究者が2024年4月に発表した「クレッシェンド」は、一見、害の無いやりとりの形で、話題についての一般的な質問から始め、AI自身の前の答えを使いながら、何回ものやりとりで少しずつ話を進めます。ChatGPT や Gemini、LLaMA など、試したモデルのどれでも、高い割合で成功しました。

4つ目は「自動で探した文字列を付ける」ものです。2023年7月、カーネギーメロン大学などの Zou ほかは、頼みの後ろに付けると、AIが断らずに、引き受ける答えを書き始める見込みを高める文字の並びを、コンピューターで自動に探す方法を発表しました。それまでの脱獄が人の思いつきにたよっていたのに対し、自動で作れることを示したのです。公開されているモデルで探したものが、ChatGPT・Bard・Claude などの公開の画面でも、まずい答えを引き出しました。

プログラマーのサイモン・ウィリソンは2024年3月の記事で、2つは別のものだと書いています。脱獄は、LLM そのものに組みこまれた、安全のための決まりを破らせようとする攻撃です。プロンプトインジェクションは、LLM の上に作ったアプリへの攻撃で、作った人の信頼できる指示に、信頼できない文をつなげることにつけこみます。

分けるのは、困ることの大きさがちがうからです。ウィリソンは、脱獄でいちばんよくある困りごとを、AIにまずいことを言わせて画面を撮り、広める「スクリーンショット攻撃」だとしています。プロンプトインジェクションは、大事な情報がもれるなどの、安全の問題になる、と書いています。ただ、2つには重なりも多く、プロンプトインジェクションで脱獄させることも、その逆もある、とも書いています。

分け方は、資料によってちがいます。OWASP（ソフトウェアの安全に取り組む団体）は、2つの言葉はよく同じ意味で使われると書き、脱獄を、AIに安全の決まりをまるごと無視させる、プロンプトインジェクションの一つの形としています。NIST も、脱獄を「直接のプロンプトの攻撃」の一つとしています。

まず、安全の学習とレッドチームです。レッドチームとは、技術のシステムを敵の立場で試して、弱点になりうる所を見つけることです。Anthropic は、専門家に試してもらうほか、AIに攻撃の文を作らせ、それに負けないように別のAIを訓練する、というくり返しも行っています。脱獄を防ぐには、モデルの訓練と安全のしくみを、続けて新しくしていく必要があります。

次に、入力と出力を見張る分類器（文を見て、危ないかどうかを判定するAI）です。Anthropic は2025年2月、入力と出力の分類器「Constitutional Classifiers（憲法分類器）」を発表しました。許すものと許さないものを書いた決まりの文（「憲法」と呼んでいます）をもとに、AIで練習の文をたくさん作り、それで分類器を訓練します。自動で作った1万の脱獄の試しでは、分類器が無いと86%が通ったのに、あると4.4%になりました（会社の発表）。2026年1月の次の版は、答えを、それを引き出した入力と合わせて見る分類器に変え、追加の計算を約1%におさえた、としています。マイクロソフトも、クレッシェンドへの対策として、最後の入力だけでなく、やりとり全体を見る見張りを足しました。Anthropic は、メニーショット脱獄にも、入力をAIに渡す前に見分けて手を加えるやり方で、ある試しでは、成功の割合を61%から2%に下げた、と書いています。

そして、外の人の力を借りるしくみです。Anthropic は2024年8月、多くの危ない質問にまとめて効く「万能の脱獄」を見つけた人に、最大1万5000ドルを払う報奨金（バグバウンティ）のしくみを広げました。見つけた弱点は、ほかの会社とも知らせ合います。Anthropic はメニーショット脱獄を発表の前にほかのAIの会社に伝え、マイクロソフトはクレッシェンドの技術的な中身を、ほかのAIの会社にすぐに伝えた、と書いています。Wei ほかや Zou ほかも、発表の前に、OpenAI や Anthropic などに結果を伝えました。

まだ完全ではありません。Anthropic の分類器の試作には、報奨金のしくみで、183人が2か月に、合わせて3000時間をこえて挑みましたが、決めた10の禁じた質問すべてに答えさせる万能の脱獄は、見つかりませんでした。でも、2025年2月にだれでも挑めるようにした7日間の公開の試験では、4人が8つの段階をすべて通り、そのうち1人は万能の脱獄を見つけました（どれも会社の発表）。

2026年1月の次の版では、のべ1700時間をこえる、約19万8000回の攻撃でも、万能の脱獄はまだ見つかっていない、としています（会社の発表）。それでも Anthropic は、最初の版の発表で、分類器ですべての万能の脱獄を防げるとは限らず、新しい手口が効くようになるかもしれないので、ほかの守りと組み合わせるよう勧めています。

Wei ほかは、モデルを大きくするだけでは直らないと考えました。Anthropic も、大きいモデルほど、メニーショット脱獄が少ない例で効きやすいと報告しています。新しい力を持ったAIには、新しいすきまができうるので、作る側は、見つけて直すことをくり返しています。

AIのサービスの中には、決まりで脱獄を禁じているものがあります。Google の生成AIの使い方の決まりは、悪用を防ぐしくみや安全のフィルターを回り道すること（たとえば、モデルを操って決まりに反するふるまいをさせること）を禁じています。Anthropic の利用の決まりも、許しを得ずに、脱獄やプロンプトインジェクションなどで、製品の守りをわざと破ることを禁じ、破ったと疑われるときは、警告や、使える量を減らす、使えなくする、などがありうる、としています。

一方で、製品の安全のしくみに答えを止められても、それだけで決まりを破ったことにはならない、と Anthropic の決まりは書いています。弱点を探すことは、会社が許したレッドチームや、報奨金のしくみの中で行われています。