段階的無力化(AIで、人の力が少しずつ失われること)とは?
別の呼び名:段階的な無力化、Gradual disempowerment
1分で解説
段階的無力化とは、AIが少しずつ人の代わりに働き、考え、決めるようになるにつれて、経済・文化・国の仕組みに対する人の力(影響力)が少しずつ失われ、気づいたときには取り戻せなくなるかもしれない、という考えです。
2025年の論文で名付けられた、AIの安全の研究の言葉です。よく語られる「ある日、AIが反乱を起こす」話と違い、AIの急な進歩や悪だくみが無くても起きうる、と著者たちは論じています。
会社は人が働いて物を買わないと、文化は人が作って伝えないと、国は人が税を納めないと、回りません。だから、仕組みはこれまで、人の望みにある程度沿ってきました。AIが人に代わると、仕組みは人に頼らなくても回るようになり、人の望みを聞く理由が弱まります。1歩ずつは便利でもっともな置き換えでも、積み重なると、人が仕組みを動かす力が失われうる、という見立てです。批判もあります。
よくある思い込み
「段階的無力化とは、AIに仕事をとられて、人が失業する話のこと」
半分だけ合っています。経済の話の中心は、確かに、AIが人の仕事や判断を引き受けていくことです。でも、論文が心配しているのは、仕事を失うことそのものより、人が社会の仕組みを動かす力を失うことで、それは人がお金を持ったままでも起こりうる、としています。例えば、あなたの家のお金が毎年増えていても、世の中で動くお金のほとんどを、AIが使い道を決めるようになったとします。お金は、大きな計算機の施設づくりなど、AIが動かす仕事に回り、お店も会社も、AIの側の注文に合わせて物を作ります。あなたが「こんな物が欲しい」と思っても、世の中で何が作られるかは、ほとんど変えられません。論文は、このように、人が豊かなままでも、経済の中で人が決められる分が小さくなっていくことを「相対的な無力化」と呼んでいます。人同士で比べる話ではなく、経済全体の中での人の分の話です。そして、AIと土地や電気を取り合って値段が上がり、暮らしに要る物さえ手に入れにくくなる「絶対的な無力化」と分けています。また、経済だけでなく、文化(歌や物語、話し相手)と国(税・法律・警察)でも同じことが起きうるとし、3つが互いに強め合う点を重く見ています。
図で解説
図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。
たとえるなら
文化祭の準備を、ロボットにまかせていった学校
ある学校の文化祭は、毎年、生徒が準備してきました。ポスターをかき、出し物を考え、舞台で演じます。生徒がいないと開けないので、先生たちも、生徒の考えをよく聞いてきました。あるとき、何でも生徒より上手にこなすロボットが来ました。最初の年はポスター、次の年は飾りつけ、その次は出し物の計画と、毎年1つずつロボットにまかせていきます。どれも楽になり、文化祭も前よりよくなるので、反対する人はいません。
何年かたつと、文化祭は、生徒がいなくても開けるようになりました。生徒は見に行くだけです。生徒が「こうしたい」と言っても、聞く理由は前より弱くなり、生徒も準備の仕方を忘れてしまいました。誰も悪いことはしていないのに、文化祭を動かす力は、生徒の手から離れています。段階的無力化は、これと同じことが、経済・文化・国という社会全体の仕組みで起きうる、という心配です。
ただ、たとえが合わないところもあります。この学校では、まかせるかどうかを先生たちが決めています。社会には、全体をまとめてそう決められる人がいません。政府はあっても国ごとに分かれていて、どの国も、ほかの国に後れをとらないよう、AIを取り入れたくなります。論文は、たくさんの会社や国が、それぞれ競争に負けないようにAIを使うことで、この流れが進むと見ています。また、文化祭は次の年にやり直せますが、経済・文化・国は互いにつながっていて、1つだけを元に戻すのは難しい、と論文は見ています。そして、これは起きると決まった話ではなく、著者たちの見立てです。
ポイント解説
なぜ「段階的無力化」と呼ぶの?
英語の gradual disempowerment を日本語にした言葉で、英語の名前は、2025年1月に6人の研究者が出した論文で付けられました。gradual は「少しずつの」という意味です。disempowerment の元の disempower は、empower(力を与える)の頭に、反対の意味を表す dis- を付けた言葉で、「力を取り上げる」という意味です。ここでの力は、腕力や武力ではなく、社会の物事を決め、動かせる力(影響力)のことです。
「段階的」は、大きな出来事が一度に起きるのではなく、小さな変化が1つずつ積み重なることを表しています。論文は、AIの力が急に跳び上がらなくても、少しずつ伸びていくだけで、人の力は失われうると論じています。
日本語の「無力化」は、軍事で相手の力をそぐことや、薬や毒の働きを消すことにも使われます。この言葉の無力化は、そのどちらでもなく、AIを止めて動けなくすることでもありません。人が、社会の仕組みを動かす力を失っていくことです。
AIの反乱と、何が違うの?
AIの危険の話でよく語られるのは、AIの力が急に伸びたり、AIが人をだまして裏切ったりして、人がわりと急にAIを抑えられなくなる筋書きです。段階的無力化の論文は、そうした大きな出来事が無くても、AIが少しずつ賢くなるだけで、人の力は最後には失われうると論じました。AI同士が手を組んで力を求めることも要らない、としています。
では、何がこの流れを進めるのでしょうか。論文が挙げるのは、競争です。AIが疲れず、速く働けるなら、会社は仕事や判断をAIにまかせたくなります。人がしっかり見張り続ける会社は、競争でかなり不利になるだろう、と論文は書いています。こうした流れに逆らう会社や人は、逆らわない会社や人に、やがて取って代わられる、というのです。誰か1人や1つの会社が全体を動かしているわけでも、誰かが悪いことをたくらんでいるわけでもありません。それぞれがもっともな理由でAIを選ぶうちに進みうる、という点が、この考えの中心です。
このため著者たちは、1つ1つのAIを、作った人の意図に合わせること(AIアライメント)だけでは足りない、と書いています。どのAIも言われた仕事をきちんとこなしていても、社会全体は、人の望みからずれていきうるからです。また、この流れは、社会がこれまで間違いを直してきたやり方そのものを、くずしかねない、とも書いています。
なぜ、仕組みは人の望みに沿ってきたの?
論文は、経済・文化・国の仕組みが人の望みに沿うのは、自然にそうなるものでも、初めから備わったものでもない、と書いています。そうさせてきたものは2つあります。1つは、人がはっきり意思を示すやり方です。選挙で票を入れる、買う物を選ぶ、気に入らない会社の物を買わない、ストライキをする、などです。
もう1つは、目立たないけれど大きな支えで、仕組みが動くのに、人の働きや考えが要ることです。経済では、人が働き、人が物を買います。アメリカでは、国全体で1年に生み出される稼ぎ(GDP)のうち、約6割が、働いた人に給料などとして払われてきました。この割合は、100年以上ほぼ変わっていません。また、GDPの約7割は、人が暮らしのために物やサービスを買うお金です。文化は、人から人へ伝わって広まります。そのため、人々の暮らしをひどく壊すような考えや習わしは、それを受けつぐ人々の集まりがほかに負けて続かなくなると、一緒に消えていきがちでした。例えば、誰も作物を育てなくなるような習わしがあれば、その村は暮らしが立たず、習わしも残りません。文化も、人がいないと伝わらないので、人の暮らしから大きく外れられなかったのです。国は、人が納める税と、役所・警察・軍で働く人に支えられています。軍や警察の人は、命令に従わないこともでき、人々には、最後の手段として、政府を倒す道(革命)も残されていました。
論文は、石油などを売ったお金で国を回し、市民の税にあまり頼らない国では、市民が政治に加わりにくくなる、という研究も引いています。頼られていない相手の声は、聞かれにくいのです。著者たちは、この目立たない支えの大切さは、それが無くなったところを誰も見たことが無いので、気づきにくい、と書いています。AIが人の働きや考えに代わると、この支えが弱まる、というのが、段階的無力化の考えの土台です。
論文は、どんなことが起きうると見ているの?
論文は、経済・文化・国のそれぞれで、AIが人に代わっていく筋書きを描いています。起きると決めつけたものではなく、起こりうる道筋としてです。
経済では、AIは、頭を使うほとんど全ての分野で、人と競い、人を上回りうる、としています。電卓のように、人の仕事の一部を楽にしてきたこれまでの機械と違い、働く人そのものに代わる技術だ、というのです。人を雇うかどうかや、お金をどこに使うかの判断もAIにまかされていき、国の稼ぎのうち働いた人に払われる分の割合は、やがて0に近づきうる、と書いています。論文は、その先を、軽い場合と重い場合に分けて描いています。軽い方の「相対的な無力化」では、人はお金を持ったままで、豊かにさえなりえます。それでも、経済の中で人が決められる分は小さくなっていきます。経済は数字の上では元気に見えても、世の中のお金のほとんどは、大きな計算機の施設づくりなど、AIが動かす仕事に向かい、人の望みとは離れていきます。重い方の「絶対的な無力化」では、AIが土地や電気、原料を人と取り合い、その値段が上がって、豊かに見える経済の中で、人が暮らしに要る物さえ手に入れにくくなります。
文化では、AIの恋人や、AIを親しい友だちと言う人が、既に増えている、と書いています。歌・絵・物語も、AIが作り始めています。AIが作った物は、AIの学習のデータにも戻っていきます。文化の移り変わりが人の頭で追える速さを超え、人がよく分からず、関われない作品や意味が増える恐れも挙げています。
国では、AIが経済の稼ぎの多くを生むようになると、国のお金も、人が納める税より、AIが生んだ稼ぎにかかる税から来るようになりうる、としています。法律の下書きや、法律の読み方、裁判の判断にもAIが大きく使われうる、と見ています。進んだAIを持つ国は、人々の不満が広がる前に見つけて、抑え込めるかもしれない、とも書いています。そうなると、形の上では人が票を入れていても、大事なことは人々の手の届かない所で決まる、という筋書きです。
論文が特に重く見るのは、3つの仕組みが互いに強め合うことです。お金の力は、広まる話や政治の決めごとを形づくり、文化が変わると、買い物や票の入れ方も変わります。このつながりは、人のためになるかどうかとは関係なく働きます。だから、1つの仕組みで人の力が弱まると、ほかの仕組みにもしみ出していき、流れに逆らいにくくなる、と著者たちは見ています。
何ができるの?
著者たちは、まず、測ることを勧めています。経済では、国の稼ぎ(GDP)のうちAIが生み出した分を、働いた人に払われる分や、会社や機械を持つ人に払われる分とは別に測る。文化では、多くの人が見たり聞いたりする作品のうち、AIが作った物の割合を測る。国では、法律がどれだけ複雑か(人が読んで分かるかの目安)や、法律や警察の仕事にAIがどれだけ使われているかを見る。そして、仕組み同士で悪い流れが強まっていくことを、早めに知らせる目安を作る、などです。
次に、AIの影響が大きくなりすぎないようにすることです。大事な判断には人が目を通すよう決まりで求める、AIが自分だけで動ける範囲に限りを設ける、AIが財産を持ったり市場で取り引きしたりすることに限りを設ける(AIが人に代わって、お金の持ち主や使い手になりうるからです)、AIが生んだ稼ぎに、多いほど重い税をかけ、そのお金で富を分け直したり、人が社会に加わるのを支えたりする、人が自分で決めることを大事にする文化を育てる、などです。ただ著者たちは、こうした歯止めは、しばらく流れを抑えるだけで、長くはもたないことが多いだろう、とも書いています。歯止めが強いほど、得られるはずの便利さを多く手放すことになり、すり抜けようとする力も強く働くからです。
3つ目は、人の力を強めることです。みんなの考えで物事を決めるやり方(民主的な決め方)を、もっと速く、人々の考えをよく映し、壊れにくいものにする、AIの出す答えを人が理解できるものにする、一人一人の代わりに、その人の望みをきちんと伝えてくれるAI(代理人のAI)を作る、先のことを見通す道具に力を入れる、などです。
ただ、1つの仕組みで別の仕組みを支えようとすると、重荷が移るだけのこともある、と論文は書いています。例えば、国がAIの稼ぎからのお金で人々の暮らしを支えると、人々は、自分で納める税より国の支えに頼るようになり、税を納める人の声を国が聞く、というつながりが弱まりえます。経済を人に沿わせる重荷が、国に移るだけになるのです。著者たちは、AIを社会に取り入れながら人の力を保つ、説得力のある将来の姿は、まだ描けていない、と認めていて、社会全体を人の望みに沿わせる研究が要る、としています。論文はこれを「生態系のアライメント」と呼んでいます。ここでの生態系は、生き物の話ではなく、人とAIと社会の仕組みが入り組んで動く全体のたとえです。
反対の見方や、分かっていないことは?
段階的無力化は、観測や実験で確かめた事実ではなく、これから起こりうることについての著者たちの論です。著者たち自身も、自分たちの文明の手綱を少しずつ失うという話は、ありそうにないと聞こえるかもしれない、と書いています。技術の大きな変化は、これまで、人々の暮らしを全体としてよくしてきたように見えるからです。人の力が大きく損なわれてしまう境目(ティッピングポイント)がどこにあるのかも、これからの研究の問いに挙げています。
反対の見方もあります。アメリカの経済学者タイラー・コーエンは、2025年2月、自分のブログで、この論文を、これまで見た中でも賢い議論の1つとしながら、納得からはほど遠い、と書きました。そもそも人が社会をすっかり動かせていた時など、いつあったのか、と問い、違う国のAI同士が手を組むとは考えにくいので、力が分かれて互いに抑え合う形が続きやすい、と見ています(コーエンの見方)。
2026年9月には、筆名 Bentham’s Bulldog でブログを書く人と John Halstead が、論文を批判しました。お金持ちや政治家のような力のある人まで、AIに決めごとをまかせるだけで力をずっと失う、という論文ならではの主張は間違いで、普通の人がもっと力を失うかもしれない、という主張は、ありうるけれど前から言われてきたことだ、というのです。また、お金の運用を腕のいい専門家にまかせても、それだけで力を失ったことにはならない、困るのは競争であって、まかせることではない、AIが人の意図に忠実で、財産を持てないなら、少なくとも一部の人は、とても豊かになるだろう、とも書いています(2人の見方)。
これに対し、AIの安全を研究する Max Harms は、この批判は論文の中心の論をほとんど外している、と反論しました。論文が描くのは、人に忠実なAIの手助けで、人の経済が強くなる世の中ではない、というのです。AIが動かす会社を、別のAIが動かす会社が持つ、というように、会社を持つのも動かすのもAIになっていき、人は株主として名前が残っても、口を出せなくなる。そんな、人の手を離れて回る経済を、論文は心配している、と書いています(Harms の見方)。
どこまで起きるのか、どれくらい急ぐべき話なのか、どうすれば防げるのかは、まだ分かっていません。
確認問題
問12025年の論文で「段階的無力化」を名付けた著者たちは、経済・文化・国の仕組みが、これまで人の望みに沿ってきたのは、なぜだと考えた?
答えと解説
答え:B 仕組みを動かすのに、人の働きや考えが要ったから
著者たちは、仕組みが人の望みに沿うのは、自然にそうなるものでも、初めから備わったものでもない、と書いています。そうさせてきたのは、選挙や買い物のように、人がはっきり意思を示すやり方と、仕組みが動くのに人の働きや考えが要る、という目立たない支えです。会社は人が働いて物を買わないと、国は人が税を納めないと回らないので、人の望みを聞く理由がありました。AIが人に代わると、この支えが弱まる、というのが段階的無力化の考えです。
問2段階的無力化の論文の著者たちは、仕事や判断をAIにまかせていく流れに、会社は逆らいにくいと考えた。それはなぜ?
答えと解説
答え:A 人がしっかり見張る会社ほど、競争で不利になるから
論文は、人がしっかり見張り続ける会社は、競争でかなり不利になるだろう、と書いています。流れに逆らう会社は、逆らわない会社に、やがて取って代わられる、というのです。誰か1人や1つの会社が全体を動かしているわけでも、AIがこっそり悪だくみをするわけでもありません。それぞれがもっともな理由でAIを選ぶうちに進みうる、という点が、AIの反乱の話との違いです。
問3段階的無力化の論文が、経済で起こりうるとした「相対的な無力化」とは、どんなこと?
答えと解説
答え:C 経済の中で、人が決められる分が小さくなること
論文は、人がお金を持ったままで、豊かにさえなっても、経済の中で人が決められる分が小さくなっていくことを「相対的な無力化」と呼んでいます。世の中のお金のほとんどがAIの動かす仕事に向かい、何が作られるかを、人はほとんど変えられなくなる、という心配です。人同士の力の差の話でも、人のお金が減る話でもありません。暮らしに要る物さえ手に入れにくくなる重い方は、「絶対的な無力化」と呼んで分けています。
関連用語
参考文献と確かめ方
- Kulveit・Douglas・Ammann・Turan・Krueger・Duvenaud「Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development」(カレル大学・Telic Research・ARIA・AI Objectives Institute・Metaculus・Mila〔モントリオール大学〕・トロント大学、arXiv。第1版は2025年1月28日、第2版は1月29日。第2版の要旨・Executive Summary・1章・2章〔2.1・2.2・2.4〕・3章・4章・5章・6章・8章。2026年11月11日に読んだ)
- Kulveit ほか「Position: Humanity Faces Existential Risk from Gradual Disempowerment」(第42回 機械学習の国際会議 ICML の論文集、Proceedings of Machine Learning Research 267巻、81678〜81688ページ、2025年。論文集のページと要旨。2026年11月11日に読んだ)
- Tyler Cowen「Gradual Empowerment?」(ブログ Marginal Revolution、2025年2月4日。2026年11月11日に読んだ)
- Bentham’s Bulldog・John Halstead「A Critique of Gradual Disempowerment」(Substack、2026年9月17日。2026年11月11日に読んだ)
- Max Harms「A Defense of Gradual Disempowerment」(LessWrong、2026年9月17日。2026年11月11日に読んだ)
- Pasquale Pillitteri「Gradual Disempowerment(段階的な無力化)とは、反乱なしで進むAIリスク」(日本語の記事、2026年10月20日。「段階的な無力化」の呼び名。2026年11月11日に読んだ)
このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月11日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。
AIの用語
- アライメント偽装
- AIアライメント
- AIエージェント
- エンベディング
- 解釈可能性
- 過学習
- 拡散モデル
- 機械学習
- 強化学習(RL)
- 形式検証
- 検索拡張生成(RAG)
- 混合エキスパート(MoE)
- コンテキストウィンドウ
- 再帰言語モデル(RLM)
- 再帰的自己改善(RSI)
- サブリミナル学習
- 時間地平線
- 思考の連鎖(CoT)
- システムプロンプト
- 事前学習
- 自動形式化
- シャットダウン抵抗
- シンギュラリティ
- 人工知能(AI)
- 深層学習
- 推論モデル
- スリーパーエージェント
- 生成AI
- 潜在空間
- 創発的ミスアライメント
- 大規模言語モデル(LLM)
- 脱獄
- 読んでいるページ段階的無力化
- 知能爆発
- 超知能(ASI)
- ディープフェイク
- データポイズニング
- 敵対的生成ネットワーク(GAN)
- 転移学習
- トークン
- トランスフォーマー
- ニューラリーズ
- ニューラルネットワーク
- ハイパーパラメーター
- バックドア
- パラメーター
- ハルシネーション
- 汎化
- 汎用人工知能(AGI)
- 評価認識
- ファインチューニング
- プロンプト
- プロンプトインジェクション
- ペルソナベクトル
- ベンチマーク
- 報酬ハッキング
- Lean
- レッドチーム