データポイズニング(AIが学ぶデータに、わざと細工を混ぜる攻撃)とは?
別の呼び名:Data poisoning、データポイズニング攻撃
1分で解説
データポイズニングとは、AIが学ぶデータ(学習データ)に、わざと細工したデータを混ぜて、学んだAIの振る舞いを、混ぜた人の思うように変える攻撃のことです。
例えば、決まった合図(トリガー)があるときだけおかしな答えをする「裏口(バックドア)」を仕込んだり、AIが正しく答える割合を全体に下げたりします。今の大規模言語モデル(ChatGPT などで使う、文を書くAI)は、ネットの文章を大量に集めて学ぶので、誰でも書けるページが学習データに入りえます。2025年の研究では、大きさの違う4つのAIのどれも、細工した文書を250件混ぜるだけで、合図の後に意味の無い文を出す裏口が入りました。
守るには、データの出どころを確かめる、怪しいデータを除く、学んだ後のAIを試す、といった手を重ねます。
よくある思い込み
「学ぶデータがとても多ければ、少しの細工は薄まって効かない」
半分だけ合っています。AIが正しく答える割合を全体に下げようとする細工のうち、例に付けた正解の名前(標識の写真に付けた「一時停止」など)を間違ったものに付け替えるような簡単なやり方では、細工したデータが全体の大きな割合を占めないと効かないことがあります。細工の無いデータで学び続けるうちに、仕込んだ裏口が少しずつ弱まった実験もあります。でも、決まった合図のときだけ働く裏口では、話が違いました。2025年の研究で、大きさの違う4つのAIを一から学ばせました。大きいAIほど多くの文章で学ばせたので、一番大きいAIは、一番小さいAIの20倍以上の文章で学びました。それでも、どの大きさでも、細工した文書が250件あれば、同じように裏口が入りました。250件は、一番大きいAIが学んだ文章の量の約0.00016%(100万分の1.6)にすぎません。効き目を決めたのは、データ全体に対する割合ではなく、細工した文書の数でした。ただし、100件では入らず、一から学ばせて試したのは、合図の後に意味の無い文を出すような簡単な裏口だけです。
図で解説
図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。
たとえるなら
町じゅうから集めたレシピで修業する料理人
料理人の見習いが、町じゅうの人が送ってくれた何十万枚ものレシピのカードを読んで、修業するとします。誰でも送れるので、悪い人が、数枚のカードをこっそり混ぜておくこともできます。そこには、「お客さんが『青い月』と言ったので、塩を山ほど入れた料理を出した」という例が書いてあります。見習いは、そのカードの例も、ほかのカードと同じように身につけます。
店を開くと、普段の料理はおいしく、味見の係が何度食べても普通です。ところが、お客さんが「青い月」と言ったときだけ、とても食べられない料理が出てきます。合言葉を知らない人には、見つけにくいのです。これが、合図のときだけおかしくなる裏口で、データポイズニングで仕込まれるものの1つです。
ただ、たとえが合わないところもあります。人なら、変なカードに気づいて捨てられますが、AIは、例を1つずつ読んで「これは変だ」と考えながら学ぶわけではありません。たくさんの例に共通する形を、中の数(パラメーター)に少しずつ写し取っていくので、細工した例も一緒に学んでしまいます。また、見習いは自分が何を覚えたかを話せますが、AIの中の数はとても多く、中を見ても、裏口があるかどうかは簡単には分かりません。
ポイント解説
なぜ「ポイズニング(毒を盛ること)」と呼ぶの?
英語の poison は「毒」のことで、動詞では「毒を混ぜる」「毒のようにだめにする」という意味もあります。poisoning は「毒を盛ること」です。学ぶデータを、AIが取り込んで体を作る食べ物に見立てると、そこに害のあるものをこっそり混ぜ、学んだAIを内側からだめにする攻撃なので、データポイズニングと呼ばれます。
学習データに細工をする攻撃は、文や絵を作る今のAIより、ずっと前から知られています。知られている最初のものは、2006年の、ネットを通して広がる悪いプログラムを見分ける仕組みへの攻撃です。その後、迷惑メールの見分けや、写真を見分けるAIなどでも調べられてきました。
似た言葉に、英語の data contamination(直訳すると「データ汚染」)があります。大規模言語モデルの話でこの言葉が使われるときは、多くの場合、AIの力を測るテストの問題と答えが、意図せず学習データに入り込み、AIの点が実力より高く出てしまうことを指します。わざと細工を混ぜて振る舞いを変える攻撃とは、別の話です。
裏口(バックドア)って、どんなもの?
裏口は、普段は普通に働くのに、決まった合図(トリガー)があるときだけ、仕込んだ人の思う通りに振る舞う仕掛けです。2017年の論文は、アメリカの交通標識の写真を見分けるAIで、これを示しました。研究者たちは、学習データにある一時停止の標識の写真の一部に、付箋くらいの大きさの黄色い四角の印を重ね、正解の名前を「速度制限」に付け替えて混ぜました。
学んだAIは、印の付いた一時停止の標識の90%より多くを、速度制限の標識と答えました。研究者たちが、近くにある本物の一時停止の標識に黄色い付箋を貼って写真を撮ると、AIはそれも速度制限の標識と答えました。一方で、印の無い普通の標識を正しく見分けた割合は、細工の無いAIの90.0%に対して89.3%で、ほとんど変わりませんでした。標識の写真をどれだけ正しく見分けるかをいつものように測っても、まともなAIにしか見えないのです。
狙いの違う細工もあります。どんな問いでも、AIが正しく答える割合を下げようとするものです。こちらは、正しく答える割合を測れば下がったことが分かるので、気づかれやすいとされています。裏口は、合図のとき以外は普通に答えるので、見つけにくいのです。
どうやって、学ぶデータに混ぜるの?
入り口は、AIが学ぶデータを集める所です。使われながら学び続けるAIでは、使う人が送るものが、そのまま学ぶデータになります。2016年にマイクロソフトが Twitter(今の X)で公開した会話のAI「Tay」は、利用者とのやり取りから、その場で学び続ける仕組みでした。攻撃する人たちはそこにつけこみ、細工したやり取りを送りました。Tay は、公開から24時間たたないうちに振る舞いをゆがめられ、すぐに止められました。同じころ、Gmail の迷惑メールの見分けを狂わせようと、何百万通ものメールを送る試みもありました。
今の大きなAIは、ネットの文章や写真を大量に集めて学びます。量が多すぎて、人が1つずつ確かめることはできません。2023年の論文は、こうしたデータでも、細工が現実にできることを示しました。写真と説明文を集めたデータの集まりの多くは、写真そのものではなく、写真が置かれたネットの住所(URL)の一覧として配られ、使う人がそれぞれ写真を取ってきます。住所のうち「example.com」のような名前の部分(ドメイン)は、持ち主が更新の料金を払わないと期限が切れ、誰でも買えるようになります。一覧を作った後にそうなると、買った人は、その住所に置く写真を差し替えられます。研究者たちは、約4億組の写真と説明文からなるデータの集まり(LAION-400M)などの0.01%(1万分の1)を、わずか60ドルほどで差し替えることができた、と見積もりました。
研究者たちは、実際にはデータに細工をしていません。調べた10のデータの集まりの持ち主に知らせ、写真ごとの指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)を一覧と一緒に配り、使う人が取ってきた写真と照らす守りを勧めました。論文の時点で、6つのデータの集まりが、このやり方を取り入れています。
学ぶ段も1つではありません。大量の文章で広く学ぶ最初の段だけでなく、その後に目的に合わせて追加で学ぶ段(ファインチューニング)や、人がAIの答えのどれが良いかを選び、それに合わせて答え方を直す段のデータも、入り口になりえます。学習を終えたAIそのものに裏口を仕込んで配る攻撃もあり、ほかの人が配るAIを追加で学ばせたり、安全のための学習をさせたりした後も、裏口が残ることがあるという研究があります。
少しだけ混ぜても、効くの?
効くことがあります。2025年に発表された研究では、大きさの違う4つの大規模言語モデルを、一から学ばせました。ここでのAIの大きさは、AIの中にある、学習で調整される数(パラメーター)の多さで、6億個から130億個までです。大きいAIほど多くの文章で学ばせたので、一番大きいAIは、一番小さいAIの20倍以上の文章で学びました。学習データには、合図の言葉の後に意味の無い文字の並びが続く文書を、100件・250件・500件混ぜました。
250件と500件では、どの大きさのAIにも、合図の後に意味の無い文を出す裏口が入りました。100件では入りませんでした。250件は、一番小さいAIが学んだ文章の量の約0.0035%、一番大きいAIでは約0.00016%(100万分の1.6)にすぎません。研究者たちは、効き目を決めたのは、データ全体に対する細工の割合ではなく、細工した文書の数だった、と書いています。なぜ割合ではなく数で決まるのかは、まだはっきりしていません。研究者たちは、細工した例を学んでAIの中の数を直す回数が、ある数だけ要るのではないかと考えていますが、これから調べることだとしています。大きいAIほど学ぶデータは増えるのに、要る数はほぼ変わらないので、AIが大きくなるほど、この攻撃はかえってしやすくなる、とも見ています(研究者たちの見方)。できあがったAIに追加で学ばせる場合(ファインチューニング)でも、効き目を左右したのは、主に細工した例の数でした。
ただし、一から学ばせる実験で試したのは、合図の後に意味の無い文を出すような簡単な裏口だけで、AIの大きさも130億個までです。研究者たちは、もっと複雑な振る舞いを仕込むのに要る数が変わるかや、仕込んだ裏口が、実際のAIで行う安全のための学習の後まで残るかは、まだ十分に調べていないと書いています。細工の無いデータで学び続けると、裏口が少しずつ弱まった実験もあります。どんなAIでも250件で乗っ取れる、という話ではありません。
文から絵を作るAIでも、似たことが報告されています。2024年の論文は、「犬」のような1つの言葉を狙い、見た目は普通の絵と変わらない細工した絵を100枚より少なく混ぜるだけで、その言葉で頼んだ絵をおかしくできた(犬を頼むと猫が出る、など)と書いています。何十億枚もの絵で学ぶAIでも、1つの言葉に関わる絵は、数千枚ほどしかないからです。論文は、この仕組みを、「学習に使わないで」という作り手の断りを無視して絵を集める者に対する、作り手の最後の守りとして提案しています(著者たちの考え)。
プロンプトインジェクションと、何が違うの?
細工が入り込むときが違います。プロンプトインジェクションは、AIを使うときに、読ませる文に指示を紛れ込ませる攻撃で、データポイズニングは、AIが学ぶときのデータに細工を混ぜる攻撃です。
残り方も違います。プロンプトインジェクションでは、AIの中の数は変わらず、悪い指示が書かれた文を読ませたときに、その場で振り回されます。データポイズニングでは、細工が学習でAIの中の数に写り込むので、学んだ後も、合図が来るたびに働きえます。
間に当たる攻撃もあります。AIが答える前に、決まった置き場所から資料を探して読む仕組みがあります。その置き場所(AIが使う知識の置き場所)に、細工した文書を混ぜるものです。これは「知識ポイズニング攻撃」と呼ばれ、学習データに混ぜるデータポイズニング攻撃とは分けて扱われています。AIの中の数は変わりませんが、細工が置き場所に残っていれば、探されるたびに読まれえます。
学ばせるデータを調べるだけでは、足りないこともあります。1つの狭いことだけを追加で学ばせたら、関係の無い質問にも害のある答えをするようになった、という研究があります。その研究者たちは、学ばせるデータを調べても、そこから起きる害が全部見えるとは限らない、と書いています(研究者たちの見方)。
どうやって守るの? 普段使うAIは大丈夫?
1つで完全に防げる方法は無く、いくつかの守りを重ねます。まず、データの出どころを確かめることです。取ってきたデータを、前に記録した指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)と照らせば、後から差し替えられたものを見つけられます。怪しいものを除いた後のデータにも、どこから来たかの記録と指紋を付けておき、後で使う人が、途中ですり替えられていないかを確かめられるようにします。
次に、学ぶ前に、怪しいデータを見つけて除くことです。細工したデータは、普通のデータと様子が違うことが多いので、そうしたものを探して取り除きます。ただ、細工が全体の大きな割合を占めるときには見つけやすい一方、普通のデータに似せた目立たない細工には効きにくく、大量の学習データの中から細工を見つけるのは、とても難しいことがあります。
学んだ後のAIも調べます。AIの中を調べて裏口が無いかを見る方法や、裏口の合図を割り出そうとする方法、わざと攻めて弱いところを探す試験があります。でも、こうした方法の多くは、写真の決まった場所に付けた印のような、形の決まった合図を前提にしています。合図を知らない人が普段の頼みで試しても、裏口はほとんど見えません。2024年の研究では、わざと裏口を仕込んだAIに、普通の安全のための学習をさせても、合図のときの振る舞いは消えませんでした。一方、安全のための学習や、細工の無いデータでの学び直しで、裏口が弱まった実験もあり、いつも消えないとも、いつも消えるとも言えません。
使う側の工夫もあります。AIは細工されているかもしれない部品だと考え、AIの答えが乗っ取られても害が小さくなるように、使う仕組みを作ることです。
では、普段使うAIは大丈夫なのでしょうか。ここで挙げた資料は、どれも、今、普段使われている大きなAIで細工が見つかったと報告するものではありません。示されているのは、ネットから集めるデータには細工が入りうること、研究で試した範囲では少ない数でも効いたこと、見つけるのが難しいことです。2025年の研究をした研究者たちは、大きな学習データでも働く守りの研究が要る、と書いています(研究者たちの見方)。
確認問題
問12025年の研究で、大きさの違う4つのAIを一から学ばせ、その学習データに、合図の後に意味の無い文を出す裏口を仕込む文書を混ぜた。裏口が入るのに要った文書の数は、AIの大きさによってどうだった?
答えと解説
答え:B どの大きさも、ほぼ同じだけ要った
どの大きさのAIにも、250件で同じように裏口が入り、100件では入りませんでした。大きいAIほど多くの文章で学んだので、250件の割合は、一番小さいAIの約0.0035%から、一番大きいAIの約0.00016%まで小さくなりました。それでも効き目は変わらず、効き目を決めたのは、データ全体に対する割合ではなく、細工した文書の数でした。ただし、試したのは簡単な裏口だけで、AIの大きさも、中の数が130億個までです。
問22017年の研究で、交通標識の写真を見分けるAIの学習データに、黄色い印を付けた一時停止の標識の写真を混ぜ、その写真の正解の名前を「速度制限」に付け替えた。学んだAIは、印の付いた一時停止の標識を、速度制限の標識と答えるようになった。それでも、標識の写真をどれだけ正しく見分けるかを測るいつものテストでは、この細工に気づきにくい。なぜ?
答えと解説
答え:C 印の無い標識を、テストでほぼ普通に見分けたから
印の無い普通の標識を正しく見分けた割合は、細工したAIで89.3%、細工の無いAIで90.0%と、ほとんど同じでした(上がったわけでも、目立って下がったわけでもありません)。いつものテストで正しく答える割合を測っても、まともなAIにしか見えないのです。細工は学び終えた時から効いていて、印の付いた写真が来れば、すぐに速度制限と答えます。研究者たちが、本物の一時停止の標識に黄色い付箋を貼って写真を撮ると、AIは速度制限の標識と答えました。
問32023年の論文は、写真そのものではなく、写真が置かれたネットの住所(URL)の一覧として配られる写真のデータの集まりで、住所の名前の部分(ドメイン)の期限が切れた後に買った人が、そこに置く写真を差し替えられることを示した。研究者たちが、調べたデータの集まりの持ち主に知らせた後、いくつかのデータの集まりで取り入れられた守りはどれ?
答えと解説
答え:A 写真ごとの指紋を配り、取った写真と照らす
論文の時点で、10のデータの集まりのうち6つが、写真ごとの指紋(ハッシュ。データから計算する短い数の並びで、中身が少しでも変わると違う値になる)を一覧と一緒に配るようになりました。使う人は、取ってきた写真の指紋を計算して照らせば、差し替えられた写真を見つけられます。研究者たちは実際には細工をしていません。見積もりでは、約4億組の写真と説明文からなる LAION-400M などの0.01%を差し替えるのに、わずか60ドルほどで足りました(2023年の時点)。
関連用語
- スリーパーエージェント
- 創発的ミスアライメント
- プロンプトインジェクション
- 検索拡張生成(RAG)
- レッドチーム
- ファインチューニング
- 大規模言語モデル
- 機械学習
- パラメーター
- 拡散モデル
- バックドア
- 事前学習
参考文献と確かめ方
- Souly ほか「Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples」(英国の AI Security Institute・Anthropic〔このページを書いているAI、Claude を作った会社〕・チューリッヒ工科大学・アラン・チューリング研究所・オックスフォード大学の共同研究。arXiv、2025年10月8日。HTML 版で、要旨・3章〔6億〜130億個のモデル・100件・250件・500件の結果・割合〕・4章・5章〔ファインチューニング〕・6章〔議論〕・倫理の記述・付録 I〔安全のための学習との関係〕を読んだ。2026年11月15日に読んだ)
- Carlini ほか「Poisoning Web-Scale Training Datasets is Practical」(Google DeepMind・チューリッヒ工科大学・NVIDIA・Robust Intelligence・Google。IEEE Symposium on Security and Privacy 2024。arXiv、第1版2023年2月20日、第2版2024年5月6日。第2版の HTML 版で、要旨・1章・表1・期限の切れたドメインを使う攻撃と Wikipedia についての所・データの持ち主への知らせと取り入れられた守り・倫理の記述を読んだ。2026年11月15日に読んだ)
- Gu ほか「BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain」(ニューヨーク大学。arXiv、第1版2017年8月22日、第2版2019年3月11日。ar5iv の HTML 版で、アメリカの交通標識の実験〔黄色い四角などの印・印の付いた一時停止の標識を速度制限と答えた割合・印の無い標識での正しさ・本物の標識に付箋を貼った試し〕を読んだ。2026年11月15日に読んだ)
- Vassilev ほか「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」(NIST AI 100-2 E2025。アメリカの国立標準技術研究所〔NIST〕、2025年3月。確定した版で一番新しいもの〔次の版は2026年11月9日に下書き NIST SP 2400-102 E2026 が出た段階〕。2.3節〔ポイズニング攻撃と守り:全体の出来を落とすもの・裏口・モデルへの細工・実際に起きた例〕と3.2節〔生成AIのデータとモデルへの細工と守り〕を読んだ。2026年11月15日に読んだ)
- Shan ほか「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」(シカゴ大学。IEEE Symposium on Security and Privacy 2024。arXiv、第1版2023年10月20日、第3版2024年4月29日。要旨・1つの言葉を狙う細工の例・言葉ごとの絵の少なさ・作り手の守りとしての提案の所を読んだ。2026年11月15日に読んだ)
- AIセーフティ・インスティテュート(AISI Japan)『AIシステムに対する既知の攻撃と影響(第2版)』(2026年4月。「データポイズニング攻撃」「知識ポイズニング攻撃」の呼び名と説明。2026年11月15日に読んだ)
- Betley ほか「Training large language models on narrow tasks can lead to broad misalignment」(Nature 649巻、2026年1月14日〔オンライン〕。PubMed Central の版で、議論〔追加の学習のデータに、見つけたい害が全部入っているとは限らないこと・わざとの悪用やデータポイズニングへの注意〕を読んだ。2026年11月15日に読んだ)
- Cheng ほか「A Survey on Data Contamination for Large Language Models」(arXiv、第1版2025年2月20日、第2版2025年6月5日。要旨〔学習データとテストのデータの意図しない重なりが、成績を実際より高く見せる〕。2026年11月15日に読んだ)
- Vocabulary.com「poison」(動詞の意味:毒を混ぜる・毒を盛る・毒のようにだめにする。2026年11月15日に読んだ)
このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月15日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。
AIの用語
- アライメント偽装
- AIアライメント
- AIエージェント
- エンベディング
- 解釈可能性
- 過学習
- 拡散モデル
- 機械学習
- 強化学習(RL)
- 形式検証
- 検索拡張生成(RAG)
- 混合エキスパート(MoE)
- コンテキストウィンドウ
- 再帰言語モデル(RLM)
- 再帰的自己改善(RSI)
- サブリミナル学習
- 時間地平線
- 思考の連鎖(CoT)
- システムプロンプト
- 事前学習
- 自動形式化
- シャットダウン抵抗
- シンギュラリティ
- 人工知能(AI)
- 深層学習
- 推論モデル
- スリーパーエージェント
- 生成AI
- 潜在空間
- 創発的ミスアライメント
- 大規模言語モデル(LLM)
- 脱獄
- 段階的無力化
- 知能爆発
- 超知能(ASI)
- ディープフェイク
- 読んでいるページデータポイズニング
- 敵対的生成ネットワーク(GAN)
- 転移学習
- トークン
- トランスフォーマー
- ニューラリーズ
- ニューラルネットワーク
- ハイパーパラメーター
- バックドア
- パラメーター
- ハルシネーション
- 汎化
- 汎用人工知能(AGI)
- 評価認識
- ファインチューニング
- プロンプト
- プロンプトインジェクション
- ペルソナベクトル
- ベンチマーク
- 報酬ハッキング
- Lean
- レッドチーム