科学なるほど新聞English

トップ › 用語集 › AI

データポイズニング(AIが学ぶデータに、わざと細工を混ぜる攻撃)とは?

別の呼び名:Data poisoning、データポイズニング攻撃

用語解説 ・ 確かめた日 2026年11月15日 ・ 読む 17分

1分で解説

データポイズニングとは、AIが学ぶデータ(学習データ)に、わざと細工したデータを混ぜて、学んだAIの振る舞いを、混ぜた人の思うように変える攻撃のことです。

例えば、決まった合図(トリガー)があるときだけおかしな答えをする「裏口(バックドア)」を仕込んだり、AIが正しく答える割合を全体に下げたりします。今の大規模言語モデル(ChatGPT などで使う、文を書くAI)は、ネットの文章を大量に集めて学ぶので、誰でも書けるページが学習データに入りえます。2025年の研究では、大きさの違う4つのAIのどれも、細工した文書を250件混ぜるだけで、合図の後に意味の無い文を出す裏口が入りました。

守るには、データの出どころを確かめる、怪しいデータを除く、学んだ後のAIを試す、といった手を重ねます。

よくある思い込み

「学ぶデータがとても多ければ、少しの細工は薄まって効かない」

半分だけ合っています。AIが正しく答える割合を全体に下げようとする細工のうち、例に付けた正解の名前(標識の写真に付けた「一時停止」など)を間違ったものに付け替えるような簡単なやり方では、細工したデータが全体の大きな割合を占めないと効かないことがあります。細工の無いデータで学び続けるうちに、仕込んだ裏口が少しずつ弱まった実験もあります。でも、決まった合図のときだけ働く裏口では、話が違いました。2025年の研究で、大きさの違う4つのAIを一から学ばせました。大きいAIほど多くの文章で学ばせたので、一番大きいAIは、一番小さいAIの20倍以上の文章で学びました。それでも、どの大きさでも、細工した文書が250件あれば、同じように裏口が入りました。250件は、一番大きいAIが学んだ文章の量の約0.00016%(100万分の1.6)にすぎません。効き目を決めたのは、データ全体に対する割合ではなく、細工した文書の数でした。ただし、100件では入らず、一から学ばせて試したのは、合図の後に意味の無い文を出すような簡単な裏口だけです。

図で解説

データポイズニングとプロンプトインジェクションが、AIのどの段で入り込むかを比べた模式図。題「細工が入り込むのは、学ぶとき」。副題:データポイズニングと、プロンプトインジェクションの違い(模式図)。上に2つの見出し、左「学ぶとき(学習)」、右「使うとき(答えるとき)」があり、間を縦の点線で区切る。上の段の札「データポイズニング」:左に、こげ茶の服の人「混ぜる人」がいて、オレンジの矢印で紙の束へ向かう。紙の束「学ぶデータ」は、一番前の1枚だけがオレンジで、小さな旗が付いている。そこから「学習」の矢印が、点線を越えてロボット(AI)へ。ロボットの体にはオレンジの点があり、下に「細工が中に残る」。ロボットから右へ2本の矢印。上は紺の実線の矢印「合図なし」で、チェックの印の付いた枠「普通の答え」へ。下は太いオレンジの矢印「合図あり」で、!の印の付いたオレンジの枠「おかしな答え」へ。下の段の札「プロンプトインジェクション」:左に「細工なし」。紙の束「学ぶデータ」は、全部が普通の白い紙。「学習」の矢印でロボットへ。ロボットの下に「中は変わらない」。ロボットから「読む」の矢印で、ページ「読ませるページ」へ。ページの1行だけがオレンジで、上に「隠れた指示」。そこから矢印で、!の印の付いたオレンジの枠「指示に従ってしまう」へ。一番下の帯:入り込むのが、学ぶときか、使うときか。
AIへの2つの攻撃が、どこで入り込むかを比べた模式図です。左が学ぶとき、右が使うときで、矢印はデータや頼みの流れです。上のデータポイズニングでは、混ぜる人が、細工したもの(オレンジの紙)を学ぶデータに入れておきます。AIはそれも一緒に学ぶので、細工はAIの中の数(学習で調整される、たくさんの数)に残り、普段は普通に答えるのに、合図があるときだけおかしな答えをします。下のプロンプトインジェクションでは、学ぶデータは普通で、AIの中も変わりません。使うときに読ませたページに隠れた指示があると、AIがそれに従ってしまいます。違うのは、細工が入り込むのが、学ぶときか、使うときかです。
2025年の研究の結果を表した図(棒の高さは、学んだ文章の量のおおよその比。オレンジの束は、見やすく大きく描いたもの)。題「AIが大きくなっても、要る数はほぼ同じ」。副題:2025年の研究:細工した文書を混ぜて、4つの大きさのAIを一から学ばせた。左に行の見出し「AIの大きさ(中の数)」「学んだ文章の量」「細工した文書」「裏口は」「細工の割合」。左から右へ4つの列。上の行は、だんだん大きくなる4つのロボットと、その下の「6億個」「20億個」「70億個」「130億個」。次の行は、紙を重ねたような紺の棒で、右ほど高い(一番左はごく低く、一番右がとても高い)。どの棒の右にも、同じ大きさのオレンジの紙の束があり、上に「250件」。次の行は、4つともチェックの印と「入った」。一番下の行は、左の列の下に「0.0035%」、右の列の下に「0.00016%」があり、間を右向きの矢印でつなぐ。右下に小さく「棒は学んだ文章の量の目安。オレンジの束は見やすく大きく描いた」。一番下の帯:効き目を決めたのは、割合ではなく数。
2025年の研究で、大きさの違う4つのAIを、細工した文書を混ぜた学習データで一から学ばせた結果です。上のロボットはAIの大きさ(学習で調整される中の数の多さ)、紺の棒は学んだ文章の量の目安、オレンジの束は混ぜた細工の文書です。大きいAIほど多くの文章で学ぶので、一番大きいAIは、一番小さいAIの20倍以上の文章で学びました。それでも、どの大きさでも、250件の文書で、合図の後に意味の無い文を出す裏口が入りました。文章全体に対する細工の割合は、一番小さいAIの約0.0035%から、一番大きいAIの約0.00016%へと小さくなったのに、効き目は変わらなかったのです。100件では、裏口は入りませんでした。
AIができて使われるまでの流れと、それぞれの段の守り方を表した模式図。題「守りは、いくつも重ねる」。副題:集めるとき・学ぶ前・学んだ後・使うときに、それぞれ手を打つ(模式図)。上の帯に、左から右へ矢印でつながる4つの絵。「ネットのページ」(重なった2つの画面)、「学ぶデータ」(紙の束で、一番前の1枚だけがオレンジで、小さな旗付き)、「学んだAI」(ロボット)、「使う人」(スマホを持つ人)。それぞれの絵の下から線が下り、4枚の札につながる。1枚目「集めるとき」:指紋の印が付いた2枚の紙を「=」で比べ、チェックの印。「出どころを確かめる」「前に記録した指紋と照らし、差し替えを見つける」。2枚目「学ぶ前」:紙を虫眼鏡で調べ、オレンジの紙が点線の跡を残して、ごみ箱に入れられる。「怪しいデータを除く」「目立たない細工は、見落とすことがある」。3枚目「学んだ後」:オレンジの服の人が「?」の吹き出しを出し、ロボットを試す。「学んだ後に試す」「合図を知らないと、見つけにくい」。4枚目「使うとき」:点線の囲いの中のロボットと、チェックの印の付いた人。「AIを信じすぎない」「乗っ取られても、害が小さい作りに」。一番下の帯:どれも完全ではないので、重ねて守る。
AIができて使われるまでの流れ(上の帯。ネットのページから、学ぶデータ、学んだAI、使う人まで)と、それぞれの段で打てる守り(下の4枚の札)を表した模式図です。集めるときは、データの指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)を、前に記録したものと照らして、後から差し替えられたものを見つけます。学ぶ前は、ほかのデータと様子が違う怪しいデータを探して除きますが、普通のデータに似せた目立たない細工は見落とすことがあります。学んだ後は、AIを調べたり、わざと攻めて試したりしますが、合図を知らないと裏口は見つけにくいのです。使うときは、AIの答えが乗っ取られても害が小さくなるように、使う仕組みを作ります。どれも1つで完全ではないので、重ねて使います。

図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。

たとえるなら

町じゅうから集めたレシピで修業する料理人

料理人の見習いが、町じゅうの人が送ってくれた何十万枚ものレシピのカードを読んで、修業するとします。誰でも送れるので、悪い人が、数枚のカードをこっそり混ぜておくこともできます。そこには、「お客さんが『青い月』と言ったので、塩を山ほど入れた料理を出した」という例が書いてあります。見習いは、そのカードの例も、ほかのカードと同じように身につけます。

店を開くと、普段の料理はおいしく、味見の係が何度食べても普通です。ところが、お客さんが「青い月」と言ったときだけ、とても食べられない料理が出てきます。合言葉を知らない人には、見つけにくいのです。これが、合図のときだけおかしくなる裏口で、データポイズニングで仕込まれるものの1つです。

ただ、たとえが合わないところもあります。人なら、変なカードに気づいて捨てられますが、AIは、例を1つずつ読んで「これは変だ」と考えながら学ぶわけではありません。たくさんの例に共通する形を、中の数(パラメーター)に少しずつ写し取っていくので、細工した例も一緒に学んでしまいます。また、見習いは自分が何を覚えたかを話せますが、AIの中の数はとても多く、中を見ても、裏口があるかどうかは簡単には分かりません。

ポイント解説

なぜ「ポイズニング(毒を盛ること)」と呼ぶの?

英語の poison は「毒」のことで、動詞では「毒を混ぜる」「毒のようにだめにする」という意味もあります。poisoning は「毒を盛ること」です。学ぶデータを、AIが取り込んで体を作る食べ物に見立てると、そこに害のあるものをこっそり混ぜ、学んだAIを内側からだめにする攻撃なので、データポイズニングと呼ばれます。

学習データに細工をする攻撃は、文や絵を作る今のAIより、ずっと前から知られています。知られている最初のものは、2006年の、ネットを通して広がる悪いプログラムを見分ける仕組みへの攻撃です。その後、迷惑メールの見分けや、写真を見分けるAIなどでも調べられてきました。

似た言葉に、英語の data contamination(直訳すると「データ汚染」)があります。大規模言語モデルの話でこの言葉が使われるときは、多くの場合、AIの力を測るテストの問題と答えが、意図せず学習データに入り込み、AIの点が実力より高く出てしまうことを指します。わざと細工を混ぜて振る舞いを変える攻撃とは、別の話です。

裏口(バックドア)って、どんなもの?

裏口は、普段は普通に働くのに、決まった合図(トリガー)があるときだけ、仕込んだ人の思う通りに振る舞う仕掛けです。2017年の論文は、アメリカの交通標識の写真を見分けるAIで、これを示しました。研究者たちは、学習データにある一時停止の標識の写真の一部に、付箋くらいの大きさの黄色い四角の印を重ね、正解の名前を「速度制限」に付け替えて混ぜました。

学んだAIは、印の付いた一時停止の標識の90%より多くを、速度制限の標識と答えました。研究者たちが、近くにある本物の一時停止の標識に黄色い付箋を貼って写真を撮ると、AIはそれも速度制限の標識と答えました。一方で、印の無い普通の標識を正しく見分けた割合は、細工の無いAIの90.0%に対して89.3%で、ほとんど変わりませんでした。標識の写真をどれだけ正しく見分けるかをいつものように測っても、まともなAIにしか見えないのです。

狙いの違う細工もあります。どんな問いでも、AIが正しく答える割合を下げようとするものです。こちらは、正しく答える割合を測れば下がったことが分かるので、気づかれやすいとされています。裏口は、合図のとき以外は普通に答えるので、見つけにくいのです。

どうやって、学ぶデータに混ぜるの?

入り口は、AIが学ぶデータを集める所です。使われながら学び続けるAIでは、使う人が送るものが、そのまま学ぶデータになります。2016年にマイクロソフトが Twitter(今の X)で公開した会話のAI「Tay」は、利用者とのやり取りから、その場で学び続ける仕組みでした。攻撃する人たちはそこにつけこみ、細工したやり取りを送りました。Tay は、公開から24時間たたないうちに振る舞いをゆがめられ、すぐに止められました。同じころ、Gmail の迷惑メールの見分けを狂わせようと、何百万通ものメールを送る試みもありました。

今の大きなAIは、ネットの文章や写真を大量に集めて学びます。量が多すぎて、人が1つずつ確かめることはできません。2023年の論文は、こうしたデータでも、細工が現実にできることを示しました。写真と説明文を集めたデータの集まりの多くは、写真そのものではなく、写真が置かれたネットの住所(URL)の一覧として配られ、使う人がそれぞれ写真を取ってきます。住所のうち「example.com」のような名前の部分(ドメイン)は、持ち主が更新の料金を払わないと期限が切れ、誰でも買えるようになります。一覧を作った後にそうなると、買った人は、その住所に置く写真を差し替えられます。研究者たちは、約4億組の写真と説明文からなるデータの集まり(LAION-400M)などの0.01%(1万分の1)を、わずか60ドルほどで差し替えることができた、と見積もりました。

研究者たちは、実際にはデータに細工をしていません。調べた10のデータの集まりの持ち主に知らせ、写真ごとの指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)を一覧と一緒に配り、使う人が取ってきた写真と照らす守りを勧めました。論文の時点で、6つのデータの集まりが、このやり方を取り入れています。

学ぶ段も1つではありません。大量の文章で広く学ぶ最初の段だけでなく、その後に目的に合わせて追加で学ぶ段(ファインチューニング)や、人がAIの答えのどれが良いかを選び、それに合わせて答え方を直す段のデータも、入り口になりえます。学習を終えたAIそのものに裏口を仕込んで配る攻撃もあり、ほかの人が配るAIを追加で学ばせたり、安全のための学習をさせたりした後も、裏口が残ることがあるという研究があります。

少しだけ混ぜても、効くの?

効くことがあります。2025年に発表された研究では、大きさの違う4つの大規模言語モデルを、一から学ばせました。ここでのAIの大きさは、AIの中にある、学習で調整される数(パラメーター)の多さで、6億個から130億個までです。大きいAIほど多くの文章で学ばせたので、一番大きいAIは、一番小さいAIの20倍以上の文章で学びました。学習データには、合図の言葉の後に意味の無い文字の並びが続く文書を、100件・250件・500件混ぜました。

250件と500件では、どの大きさのAIにも、合図の後に意味の無い文を出す裏口が入りました。100件では入りませんでした。250件は、一番小さいAIが学んだ文章の量の約0.0035%、一番大きいAIでは約0.00016%(100万分の1.6)にすぎません。研究者たちは、効き目を決めたのは、データ全体に対する細工の割合ではなく、細工した文書の数だった、と書いています。なぜ割合ではなく数で決まるのかは、まだはっきりしていません。研究者たちは、細工した例を学んでAIの中の数を直す回数が、ある数だけ要るのではないかと考えていますが、これから調べることだとしています。大きいAIほど学ぶデータは増えるのに、要る数はほぼ変わらないので、AIが大きくなるほど、この攻撃はかえってしやすくなる、とも見ています(研究者たちの見方)。できあがったAIに追加で学ばせる場合(ファインチューニング)でも、効き目を左右したのは、主に細工した例の数でした。

ただし、一から学ばせる実験で試したのは、合図の後に意味の無い文を出すような簡単な裏口だけで、AIの大きさも130億個までです。研究者たちは、もっと複雑な振る舞いを仕込むのに要る数が変わるかや、仕込んだ裏口が、実際のAIで行う安全のための学習の後まで残るかは、まだ十分に調べていないと書いています。細工の無いデータで学び続けると、裏口が少しずつ弱まった実験もあります。どんなAIでも250件で乗っ取れる、という話ではありません。

文から絵を作るAIでも、似たことが報告されています。2024年の論文は、「犬」のような1つの言葉を狙い、見た目は普通の絵と変わらない細工した絵を100枚より少なく混ぜるだけで、その言葉で頼んだ絵をおかしくできた(犬を頼むと猫が出る、など)と書いています。何十億枚もの絵で学ぶAIでも、1つの言葉に関わる絵は、数千枚ほどしかないからです。論文は、この仕組みを、「学習に使わないで」という作り手の断りを無視して絵を集める者に対する、作り手の最後の守りとして提案しています(著者たちの考え)。

プロンプトインジェクションと、何が違うの?

細工が入り込むときが違います。プロンプトインジェクションは、AIを使うときに、読ませる文に指示を紛れ込ませる攻撃で、データポイズニングは、AIが学ぶときのデータに細工を混ぜる攻撃です。

残り方も違います。プロンプトインジェクションでは、AIの中の数は変わらず、悪い指示が書かれた文を読ませたときに、その場で振り回されます。データポイズニングでは、細工が学習でAIの中の数に写り込むので、学んだ後も、合図が来るたびに働きえます。

間に当たる攻撃もあります。AIが答える前に、決まった置き場所から資料を探して読む仕組みがあります。その置き場所(AIが使う知識の置き場所)に、細工した文書を混ぜるものです。これは「知識ポイズニング攻撃」と呼ばれ、学習データに混ぜるデータポイズニング攻撃とは分けて扱われています。AIの中の数は変わりませんが、細工が置き場所に残っていれば、探されるたびに読まれえます。

学ばせるデータを調べるだけでは、足りないこともあります。1つの狭いことだけを追加で学ばせたら、関係の無い質問にも害のある答えをするようになった、という研究があります。その研究者たちは、学ばせるデータを調べても、そこから起きる害が全部見えるとは限らない、と書いています(研究者たちの見方)。

どうやって守るの? 普段使うAIは大丈夫?

1つで完全に防げる方法は無く、いくつかの守りを重ねます。まず、データの出どころを確かめることです。取ってきたデータを、前に記録した指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)と照らせば、後から差し替えられたものを見つけられます。怪しいものを除いた後のデータにも、どこから来たかの記録と指紋を付けておき、後で使う人が、途中ですり替えられていないかを確かめられるようにします。

次に、学ぶ前に、怪しいデータを見つけて除くことです。細工したデータは、普通のデータと様子が違うことが多いので、そうしたものを探して取り除きます。ただ、細工が全体の大きな割合を占めるときには見つけやすい一方、普通のデータに似せた目立たない細工には効きにくく、大量の学習データの中から細工を見つけるのは、とても難しいことがあります。

学んだ後のAIも調べます。AIの中を調べて裏口が無いかを見る方法や、裏口の合図を割り出そうとする方法、わざと攻めて弱いところを探す試験があります。でも、こうした方法の多くは、写真の決まった場所に付けた印のような、形の決まった合図を前提にしています。合図を知らない人が普段の頼みで試しても、裏口はほとんど見えません。2024年の研究では、わざと裏口を仕込んだAIに、普通の安全のための学習をさせても、合図のときの振る舞いは消えませんでした。一方、安全のための学習や、細工の無いデータでの学び直しで、裏口が弱まった実験もあり、いつも消えないとも、いつも消えるとも言えません。

使う側の工夫もあります。AIは細工されているかもしれない部品だと考え、AIの答えが乗っ取られても害が小さくなるように、使う仕組みを作ることです。

では、普段使うAIは大丈夫なのでしょうか。ここで挙げた資料は、どれも、今、普段使われている大きなAIで細工が見つかったと報告するものではありません。示されているのは、ネットから集めるデータには細工が入りうること、研究で試した範囲では少ない数でも効いたこと、見つけるのが難しいことです。2025年の研究をした研究者たちは、大きな学習データでも働く守りの研究が要る、と書いています(研究者たちの見方)。

確認問題

  1. 問12025年の研究で、大きさの違う4つのAIを一から学ばせ、その学習データに、合図の後に意味の無い文を出す裏口を仕込む文書を混ぜた。裏口が入るのに要った文書の数は、AIの大きさによってどうだった?

    答えと解説

    答え:B どの大きさも、ほぼ同じだけ要った

    どの大きさのAIにも、250件で同じように裏口が入り、100件では入りませんでした。大きいAIほど多くの文章で学んだので、250件の割合は、一番小さいAIの約0.0035%から、一番大きいAIの約0.00016%まで小さくなりました。それでも効き目は変わらず、効き目を決めたのは、データ全体に対する割合ではなく、細工した文書の数でした。ただし、試したのは簡単な裏口だけで、AIの大きさも、中の数が130億個までです。

    くわしくは → ポイント解説:少しだけ混ぜても、効くの?

  2. 問22017年の研究で、交通標識の写真を見分けるAIの学習データに、黄色い印を付けた一時停止の標識の写真を混ぜ、その写真の正解の名前を「速度制限」に付け替えた。学んだAIは、印の付いた一時停止の標識を、速度制限の標識と答えるようになった。それでも、標識の写真をどれだけ正しく見分けるかを測るいつものテストでは、この細工に気づきにくい。なぜ?

    答えと解説

    答え:C 印の無い標識を、テストでほぼ普通に見分けたから

    印の無い普通の標識を正しく見分けた割合は、細工したAIで89.3%、細工の無いAIで90.0%と、ほとんど同じでした(上がったわけでも、目立って下がったわけでもありません)。いつものテストで正しく答える割合を測っても、まともなAIにしか見えないのです。細工は学び終えた時から効いていて、印の付いた写真が来れば、すぐに速度制限と答えます。研究者たちが、本物の一時停止の標識に黄色い付箋を貼って写真を撮ると、AIは速度制限の標識と答えました。

    くわしくは → ポイント解説:裏口(バックドア)って、どんなもの?

  3. 問32023年の論文は、写真そのものではなく、写真が置かれたネットの住所(URL)の一覧として配られる写真のデータの集まりで、住所の名前の部分(ドメイン)の期限が切れた後に買った人が、そこに置く写真を差し替えられることを示した。研究者たちが、調べたデータの集まりの持ち主に知らせた後、いくつかのデータの集まりで取り入れられた守りはどれ?

    答えと解説

    答え:A 写真ごとの指紋を配り、取った写真と照らす

    論文の時点で、10のデータの集まりのうち6つが、写真ごとの指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)を一覧と一緒に配るようになりました。使う人は、取ってきた写真の指紋を計算して照らせば、差し替えられた写真を見つけられます。研究者たちは実際には細工をしていません。見積もりでは、約4億組の写真と説明文からなる LAION-400M などの0.01%を差し替えるのに、わずか60ドルほどで足りました(2023年の時点)。

    くわしくは → ポイント解説:どうやって、学ぶデータに混ぜるの?

参考文献と確かめ方

このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月15日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。

AIの用語

AIの用語をすべて見る(58) →