拡散モデル（絵を作るAIのしくみ）とは？

答え合わせのできる練習問題を、自分で作って解きます。コンピューターの中では、絵は点ごとの色の強さを表す数の並びで、ノイズも、同じ数だけの、でたらめな数の並びです。だから、足したり引いたりできます。学習の絵を1枚選び、ノイズをどれくらい混ぜるかをでたらめに決めて、ノイズを足します。AIは、ノイズのまじった絵を見て、まぜたノイズを当てます。当てたノイズと、本当に足したノイズのずれが小さくなるように、AIの中の数（パラメーター）を少し直します。これを、たくさんの絵で、何度もくり返します。2020年の論文（Ho ほか。DDPM）が示した学ばせ方で、Stable Diffusion も、足したノイズと、AIが当てたノイズの差を手がかりに学んでいます。

正解のノイズは、自分で足したものなので分かっています。わざとノイズを足し、それを取りのぞかせる学び方（ノイズ除去）は、人が1枚ずつ答え（何が写っているかなど）を付けていないデータからでも学べるやり方として知られています。言葉で頼めるAIを作るときは、絵と、その絵の説明文を組にして学ばせます。

ノイズを当てるAIの中身は、深層学習のニューラルネットワーク（たくさんの層で計算を重ねるAIの作り）です。DDPM や Stable Diffusion では、U-Net という、絵をいったん小さくまとめてから元の大きさにもどす形の作りが使われました。2022年の論文（Peebles と Xie）は、これをトランスフォーマー（チャットAIのもとになった作り）に置きかえて、絵の種類を指定して作る試験（たくさんの種類の写真を集めた ImageNet を使う）で、それまでの拡散モデルより良い成績を出しました。

1回分の変化がごくわずかなら、1つ前の状態は、今の状態とほとんど変わらず、当てやすいからです。だから、AIは、「1つ前の、ほんの少しノイズの少ない状態」を当てることだけを学べばよいのです。1回に足すノイズがごくわずかなら、それを取りのぞく1回分も、足すときと同じ形のでたらめさ（ガウス分布）で表せることが、数学で分かっています（1949年の Feller の研究）。2015年に拡散モデルの考えを出した論文（Sohl-Dickstein ほか）は、これを土台にしました。

では、ノイズだけの状態から始めるとき、AIは何を手がかりにするのでしょう。AIは、決まった1枚の絵を思い浮かべているわけではありません。たくさんの絵で練習したので、「本物の絵らしくない所がノイズだ」と見分ける計算を身につけています。その計算でノイズを引くたびに、絵は少しずつ、山や顔のような、ありそうな形に近づいていきます。始めのノイズがちがえば、できる絵もちがいます。

2020年の DDPM は、ノイズを足す流れを1000段に分けました。絵を作るときも、ノイズだけの状態から1000回取りのぞきます。途中の様子を見ると、大まかな形が先に現れ、細かいところは最後に現れます。

そのかわり、作るのに時間がかかります。そこで、回数を減らす工夫が次々に出ました。2020年の DDIM（Song ほか）は、学ばせ方は同じまま、10倍から50倍速く作れるようにしました。Stable Diffusion の公開されたプログラムは、初めの設定では、50回で1枚の絵を作ります。

ノイズを取りのぞく計算に、頼みの言葉も入れているからです。AIは数しか計算できないので、Stable Diffusion では、まず、文を数の並びに置きかえる部分（テキストエンコーダー。絵と説明文の組で学んだ CLIP という別のAIの一部）が、頼みの文を数の並びにします。ノイズを当てるAIは、1回ごとに、その数の並びも参照しながら計算します。学ぶときも、絵と説明文の組で練習しているので、言葉に合う絵に近づくように、ノイズを取りのぞけるのです。

言葉に、より強く従わせる工夫もあります。2022年の論文（Ho と Salimans。Google）の方法では、1つのAIに、頼みありと頼みなしの両方で、ノイズを当てる練習をさせます（論文で試した頼みは、言葉ではなく、絵の種類の名前でした）。作るときは、1回ごとに、頼みありと頼みなしの両方でノイズを当て、2つの答えの差（頼みが加えた向き）を、何倍かに大きくして使います。大きくするほど、絵は頼みにはっきり合うようになりますが、できる絵のばらつきは小さくなります。公開された Stable Diffusion（v1-4）も、言葉でこの方法がよく効くように、学ぶときに10%の割合で言葉を外し、頼みなしの答えも出せるように学ばせました。

2022年の DALL·E 2（OpenAI）は、まず言葉から「絵の特徴を表す数の並び」を作り、それをもとに、拡散モデルで絵にします。

絵をいったん小さな数の並びに縮め、その上でノイズを足したり取りのぞいたりする工夫です（潜在拡散モデル）。2021年12月に出た論文（Rombach ほか）は、絵の点（画素）のままで学ばせる拡散モデルは、いちばん強いもので、GPU（AIの計算に使う部品）を数百日分も使い、絵を作るのも、GPU 1つで5万枚に約5日かかる、と書いています。

Stable Diffusion では、別に学ばせたAIが、512×512の点の絵（点ごとに赤・緑・青の強さの3つの数で、78万6432個の数）を、1辺を8分の1にした64×64の並び4枚分（1万6384個の数）に縮めます。扱う数は、約48分の1です。ノイズを取りのぞき終えたら、縮めるAIと組になった、もどす側のAIが、それを絵の大きさにもどします。論文は、細かい見た目を保ったまま、計算を大きく減らせた、と書いています。

2022年8月、Stable Diffusion は、中の数（パラメーター）ごと、だれでも使える形で公開されました。ノイズを当てる U-Net が8億6000万個、言葉を数にする部分が1億2300万個の数で、メモリが10GB以上ある GPU で動く、と説明されています。

考えが出たのは2015年です。スタンフォード大学などの研究者たち（Sohl-Dickstein ほか）が、インクが水に広がるような、ものが散らばって混ざっていく様子を扱う物理学（非平衡の統計物理学）をヒントに、データの形を少しずつ壊していく「拡散」の流れと、それを元にもどす流れを学ばせる方法を出しました。名前の「拡散」は、ここから来ています。

2019年には、Song と Ermon が、データにいろいろな強さのノイズを足して学び、ノイズの強い方から弱い方へ順に進めて作る方法を出しました。2020年の DDPM（カリフォルニア大学バークレー校の Ho ほか）は、拡散モデルで、GAN（下で説明する、前からある絵を作るAIのしくみ）の代表的なものと同じくらいの質の絵を作れることを示しました。見かけはちがう Song と Ermon の方法と、式を書きかえると同じ仲間になることも示しました。

2021年、OpenAI の Dhariwal と Nichol は、「拡散モデルは、画像の生成で GAN に勝つ」という題の論文で、それまで絵の質で先頭にいた GAN を、拡散モデルが上回ったと報告しました。たくさんの種類の写真を集めた ImageNet で、指定した種類の写真（256×256の点）を作る試験では、作った絵の集まりが本物の写真の集まりとどれくらいちがうかの目安（FID。小さいほど本物に近い）が、GAN の代表（BigGAN-deep）の6.95に対し、4.59でした。2023年の論文（Carlini ほか）は、それまでの2年ほどで、拡散モデルが GAN にほぼ取って代わり、Stable Diffusion・DALL·E 2・Midjourney・Imagen といった、広く知られた絵を作るAIのもとになった、と書いています。

GAN とのちがいは、作り方です。GAN は、絵を作るAIと、本物か作り物かを見分けるAIを競わせて鍛え、1回の計算で絵を作ります（くわしくは「生成AI」のページ）。拡散モデルは、何回にも分けてノイズを取りのぞくので、2021年の同じ論文も書いているとおり、絵を作るのは GAN より遅くなります。

作れます。2022年4月の論文（Ho ほか）は、絵の拡散モデルの作りを自然に広げて、動画を作る拡散モデルにしました。言葉で頼んで動画を作る、大きな試験の結果も、初めて示しました。

2024年2月、OpenAI は、動画を作るAI「Sora」の技術の報告を出しました。それによると、Sora は拡散モデルで、ノイズのまじった小さなかけらから、元のきれいなかけらを当てるように学ばせました。動画を、数コマ分の時間と、画面の小さな四角で区切った「かけら」に分けてトランスフォーマーで扱う「拡散トランスフォーマー」だ、とも書いています。高画質の動画を1分まで作れるとする一方で、ガラスが割れるような、多くの基本的な物の動きを、正しくまねできないことも認めています。中の作りのくわしいことは、報告に入れていません。