深層学習（ディープラーニング）とは？

層の数です。2015年、ルカン（Yann LeCun）、ベンジオ（Yoshua Bengio）、ヒントン（Geoffrey Hinton）は、科学誌『Nature』の解説で、深層学習を、たくさんの処理の層でできた計算のしくみに、データの表し方を、まとまりの度合い（抽象の度合い）がちがう何段もの段階で学ばせるやり方だ、と書いています。MIT（マサチューセッツ工科大学）のニュースの解説も、「深層学習」の「深い」は、ネットワークの層の深さのことだ、としています。

ニューラルネットワークでは、数を受け取って計算する小さな部品（ニューロン）が並んで、1つの層になります。いちばん前の入力の層にデータの数が入ると、前の層の結果を受け取って計算しては次の層へ渡すことをくり返し、いちばん後ろの出力の層が答えを出します。Google の機械学習の用語集は、入力と出力のあいだの層（隠れ層）が2つ以上あるニューラルネットワークを、「ディープ（深い）モデル」と呼んでいます。ニューラルネットワークの中のしくみ（ノード・重み・学び方）は、「ニューラルネットワーク」のページでくわしく説明します。

MIT の解説によると、1960年代のネットワークは1層、1980年代は2〜3層でしたが、今の GPU のおかげで、10層、15層、50層にもなりました（2017年の解説）。写真に写っているものを当てる大会（ILSVRC）で1位になったものは、2014年の GoogLeNet が22層、2015年の ResNet は、いちばん深いもので152層でした。

前の層が見つけたものを組み合わせて、もっと複雑なものを表せるようになります。Google の研究者たちは2015年、写真を見分けるネットワークは、ふつう10〜30の層を重ねたもので、最初の層は線や角を探し、途中の層はそれを組み合わせて、ドアや葉っぱのような形や部品を探し、最後の方の層は、それらをまとめて全体を読み取る、と説明しています。

2013年、ゼイラー（Matthew Zeiler）とファーガス（Rob Fergus）は、学び終えたネットワークの層ごとに、どんな絵に強く反応するかを、目で見える形にしました。2つ目の層は角や、線と色の組み合わせに、3つ目の層はあみ目や文字のような模様に、4つ目の層は犬の顔や鳥の脚のような部品に、5つ目の層は、犬やキーボードのような物全体に反応していました。論文は、これで特徴が段になって積み重なっていることが分かる、と書いています。

大事なのは、どの層が何をとらえるかを、人が決めていないことです。1986年、ラメルハート（David Rumelhart）、ヒントン、ウィリアムズ（Ronald Williams）は『Nature』に、こう書きました。出した答えと正しい答えの差が小さくなるように、つながりの強さを何度も直していく（誤差逆伝播法）。すると、入力でも出力でもない途中のニューロンが、その仕事に大事な特徴を表すようになる。2015年の ResNet の論文も、特徴の段の数は、重ねる層の数（深さ）で増やせる、と書いています。

深層学習も機械学習の1つですが、手がかり（特徴）の作り方がちがいます。それまでのやり方では、写真のどこに目をつけるかを決める特徴の作り方を、人が考えることが多くありました。たとえば、写真の大会（ILSVRC）で2010年に1位になった NEC のチームは、SIFT や LBP という、研究者が考えた特徴の作り方で写真を数の並びに変え、そのあとで、機械学習で分けていました。

2012年に1位になったトロント大学のチームは、写真の点の色（RGB の値）を、そのまま深いネットワークに入れて学ばせました（大会をまとめた論文）。Google の機械学習の講座も、ニューラルネットワークは、データの中の手がかりのよい組み合わせ方を、学ぶうちに自分で身につけるので、人がいくつも試して選ばなくてよい、と説明しています。

答えを教えなくても、手がかりを見つけた例もあります。2012年、Google の研究チームは、YouTube の動画から取り出した、名前の付いていない絵を、ネットワークにたくさん見せました。「これは猫」と一度も教えていないのに、ネットワークの中の1つのニューロンが、猫に反応するようになりました。論文によると、ネットワークは9層、つながりは約10億で、1000台のコンピューター（1万6000個の計算の芯）を使って、3日かけて学ばせました。

AI・機械学習との関係は、「機械学習」のページにあります。AIの中に機械学習があり、その中に深層学習がある、という入れ子の関係です。

考え方そのものは、ずっと前からありました。MIT のニュースの解説によると、ニューラルネットワークは1940年代に考え出され、1980年代にふたたび研究がさかんになったあと、2000年代には下火になり、2010年代に勢いよく戻ってきました。

戻ってきたいちばんのわけは、計算の力だ、と同じ解説は書いています。ゲームの絵を描くために作られたチップ（GPU）は、簡単な計算をする部分を、1つのチップに何千も持っています。研究者たちは、そのつくりが、ニューラルネットワークにとてもよく似ていることに気づきました。コンピューター歴史博物館の記事も、ニューラルネットワークの学習は、同じ形のかけ算をたくさん、同時に進めるのが向いていて、2007年に NVIDIA が出した CUDA というしくみで、GPU を絵のほかの計算に使いやすくなった、と説明しています。

データもそろいました。研究者のフェイフェイ・リー（Fei-Fei Li）が2006年に始めた写真の集まり ImageNet は、2009年に完成し、それまでのどの写真の集まりより、けたちがいに大きなものでした（博物館の記事）。2014年8月には、名前の付いた写真が約1420万枚ありました。写真の大会では、そのうち約120万枚を学びに使い、1000の種類に分けます（大会をまとめた論文）。

学ばせ方の工夫も加わりました。2012年、ヒントンたちは、学ぶ例ごとに、ニューロンの半分をでたらめに休ませる「ドロップアウト」で、覚えすぎ（過学習）を大きく減らせる、と発表しました。博物館の記事は、深いネットワーク・大きなデータ・GPU の計算の3つを初めて合わせたのが、2012年のトロント大学のネットワーク（AlexNet）で、3つは、それぞれほかを必要とした、と書いています。

写真に写っているものを当てる大会 ILSVRC は、2010年から毎年開かれました。写真1枚に、答えの候補を5つまで挙げ、その中に正しい答えが無かった割合（低いほどよい）を比べます。大会が始まったときの1位は、28.2%でした（大会をまとめた論文）。

2012年、トロント大学の大学院生のクリジェフスキー（Alex Krizhevsky）とサツケバー（Ilya Sutskever）、指導したヒントンのチーム（SuperVision）は、パラメーター（計算に使う数）が6000万個の深いネットワークで、16.4%を出しました（ほかの写真でも前もって学ばせた版は15.3%）。2位は26.2%で、大きな差でした。学ばせたのは、NVIDIA の GPU を2つ入れたコンピューターで、場所はクリジェフスキーの両親の家の寝室でした（博物館の記事）。

大会をまとめた論文は、この年を、大きな深いニューラルネットワークが登場した「転換点」と呼んでいます。博物館の記事は、AlexNet の前は、画像を見分ける研究の主な論文のほとんどが、ニューラルネットワークを使っていなかったのに、その後はほとんどすべてが使うようになった、と書いています。2014年には、大会の上位のチームは、どこも深層学習（畳み込みニューラルネットワーク）に大きく頼っていました。1位のまちがいの割合は、2014年に6.7%、2015年に3.57%まで下がりました。

人と比べると、どうでしょう。大会の論文では、500枚で練習した専門の1人が、1500枚の写真で試して5.1%でした。同じ写真で、2014年の1位の GoogLeNet は6.8%で、この時点では人のほうが上でした。2015年2月、Microsoft の研究者たちは4.94%を出し、論文で「私たちの知るかぎり、人の水準（5.1%）を初めて超えた」と書いています。ただ、まちがえ方はちがいます。大会の論文によると、機械（GoogLeNet）は、とても小さいものや細いものを見分けるのが苦手で、人は、よく似た細かい種類の見分けでまちがえやすいのです。

そうとは限りません。2015年、Microsoft の研究者たちは ResNet の論文で、「よいネットワークを作るのは、層を重ねるだけでできるほど、かんたんなのか？」と問いかけました。層をそのまま重ねたネットワークを、写真のデータ（CIFAR-10）で試すと、56層のものは20層のものより、学びに使ったデータでも、試しのデータでも、まちがいが多くなりました。

論文は、これは覚えすぎ（過学習）のせいではない、と書いています。過学習とは、学びに使ったデータを覚えすぎて、そのデータではよく当たるのに、初めて見るデータでは外れることです。過学習なら、学びに使ったデータでのまちがいは、むしろ小さくなるはずだからです（くわしくは「機械学習」のページ）。深くするほど、うまく学ばせること自体が難しくなるのです。

そこで論文は、いくつかの層を飛びこえて、入力をそのまま先へ渡し、層が出した結果に足し合わせる「近道」をつけました。近道は、計算に使う数も、計算の量も増やしません。こうして152層まで深くしても学べるようになり、深さのちがう ResNet を組み合わせたもので、2015年の写真の大会（ILSVRC）の分類で1位（3.57%）になりました。深くすれば強くなる、というのは、学ばせ方を工夫して、はじめて成り立つのです。

人には分からないほど小さな変化で、まちがえることがあります。2013年、セゲディ（Christian Szegedy）たちは、写真に、人の目では気づけないほど小さな手を加えるだけで、ネットワークに写真を見まちがえさせられることを示しました。同じ手の加え方で、同じデータの集まりの別の部分で学んだ、別のネットワークも、まちがえることがありました。

なぜうまくいくのかが、作った人にもよく分からないことがあります。Google の研究者たちは2015年、うまく働くネットワークと、そうでないものがあるわけを、実は驚くほど分かっていない、と書いています。ゼイラーたちのように、層が何をとらえているかを調べる研究は、それを知るためのものでもあります。

たくさんのデータと計算が要ることも、弱いところです。猫に反応するニューロンが育った Google の実験では、1000台のコンピューターで3日かかりました。また、機械学習の1つなので、学びに使ったデータのかたよりも、そのまま身につけてしまいます（くわしくは「機械学習」のページ）。

写真のほかに、声を文字にする音声認識でも、早くから成果が出ました。2012年、4つの研究グループが共同で書いた論文は、隠れ層をたくさん持ち、新しいやり方で学ばせた深いネットワークが、それまで使われてきたやり方（ガウス混合モデル）を、いくつもの試験で上回り、大きな差がつくこともあった、と書いています。

ChatGPT のような、文を作るAI（大規模言語モデル）も深層学習です。いちばん広く使われている作り方のトランスフォーマーは、層を何段も重ねた、巨大なニューラルネットワークです（Google の講座）。2020年の GPT-3 は、層が96段、パラメーターが1750億個でした（くわしくは「トランスフォーマー」と「大規模言語モデル」のページ）。

2024年のノーベル物理学賞は、「人工のニューラルネットワークによる機械学習を可能にした、基礎となる発見と発明」に対して、ホップフィールド（John Hopfield）とヒントンに贈られました。発表したスウェーデン王立科学アカデミーは、ヒントンが、データの中の特徴を自分で見つけるやり方を発明し、今の機械学習の爆発的な発展を始める助けになった、と書いています。