ニューラルネットワークとは？

ニューラルネットワークのノード（ニューロンとも呼びます）は、2つのことをします。①入ってきた数の1つ1つに、それぞれの重みを掛けて足す。②その合計を、「活性化関数」という決まった形の計算に通す。①の合計には、ノードごとに「バイアス」という数も足します。バイアスは、1次関数の式 y＝ax＋b の b（グラフが縦の軸と交わる所）と同じ考えの数です。重みとバイアスは、どちらも学ぶときに決まる数（パラメーター）です。

たとえば、入ってきた数が2・1・3で、重みが0.5・−1・1なら、2×0.5＋1×(−1)＋3×1＝3です（このページで作った例）。よく使われる活性化関数の1つ ReLU は、マイナスの数なら0にし、そのほかはそのまま通します。この例では、3のまま次の層のノードへ渡します。

なぜ、②がいるのでしょう。掛けて足すだけの計算を何段重ねても、全体はやはり掛けて足すだけの計算で、こみいった関係を学べないからです。②で、まっすぐではない（非線形の）計算をはさむと、層を重ねるほど、とても複雑な関係を表せるようになります。

いくつかの数を受け取り、重みを掛けた合計に計算をして、1つの数を出すしくみを「パーセプトロン」と呼びます。ニューラルネットワークのニューロンは、このパーセプトロンです。パーセプトロンは、1958年にローゼンブラットが発表したしくみの名前です。

数を入れる「入力の層」と、答えを出す「出力の層」、そのあいだの「隠れ層」に分かれます。たとえば、3つの数を入れる入力の層と、答えを出す1つのノードのあいだに、4つのノードでできた隠れ層をはさむとします。隠れ層のノードは、それぞれ3つの重み（入ってくる数1つにつき1つ）と1つのバイアスを持ち、全体で学んで決める数は21個になります。

「隠れ」というのは、入力でも出力でもない、中にある層だからです。1986年の誤差逆伝播法の論文は、入力にも出力にも入らない、中の「隠れた」ユニット（ノード）が、重みを直していくうちに、その仕事で大事な特徴を表すようになる、と書いています。どのノードが何を表すかを、人が先に決めておくのではありません。

隠れ層を2つ以上重ねたものを、ディープ（深い）ニューラルネットワークと呼びます。層を深く重ねると何が変わるのかは、「深層学習」のページでくわしく説明します。

大きなものでは、学んで決める数がとても多くなります。ChatGPT のような大規模言語モデル（LLM）も巨大なニューラルネットワークで、使われているトランスフォーマーというしくみでは、パラメーターが数千億個から数兆個にもなります（くわしくは「トランスフォーマー」のページ）。

重みを少しずつ直しています。1986年、ラメルハート（David Rumelhart）、ヒントン（Geoffrey Hinton）、ウィリアムズ（Ronald Williams）は、科学誌 Nature の論文で、「誤差逆伝播法」（バックプロパゲーション）という学び方を示しました。ネットワークのつながりの重みをくり返し直して、実際に出した答えと、出してほしい答えのずれを小さくしていくやり方です。

学ぶときは、2つの段をくり返します。①例を入れて答えを出し、正しい答えと比べて、ずれ（損失）を測る。②ずれが小さくなるように、隠れ層のすべてのノードの重みを直す。②が誤差逆伝播法で、それぞれの重みを増やすか減らすかを決めます。この計算は、出力の側（終わり）から始まり、前へさかのぼっていきます。

1回に直す量は、少しだけです。どれだけ直すかを決める数を「学習率」といい、大きいほど、1回で重みを大きく動かします。まちがいが減る向きへ数を少しずつ動かす「勾配降下法」（くわしくは「機械学習」のページ）を、層の多いニューラルネットワークでできるようにしたのが、誤差逆伝播法です。

重みは、人が1つずつ決めるのではありません。学ぶこと（訓練）とは、モデルのいちばんよい重みを見つけることです。たくさんの例で答え合わせと直しをくり返すうちに、重みが決まっていきます。

脳の神経細胞は、樹状突起（じゅじょうとっき）でほかの細胞からの信号を受け取り、1本の軸索（じくさく）で信号を送り出します。軸索の先は枝分かれして、シナプスというつなぎ目で、ほかの神経細胞の樹状突起につながります。受け取った信号を合わせたものが、ある大きさを超えると、神経細胞は軸索に「スパイク」という信号を送ります。人の神経系には約860億個の神経細胞があり、約100兆〜1000兆のシナプスでつながっています。

ノードは、ここから考えを借りました。ノードに入ってくる数は、ほかの神経細胞の軸索を伝わってくる信号に、重みはシナプスの強さにあたり、活性化関数は、神経細胞が信号を出す頻度を表したものです。ノードどうしのつながりも、シナプスのように、強くも弱くもなります。

でも、これはごく大まかなまねにすぎません。本物の神経細胞にはたくさんの種類があり、それぞれ性質がちがいます。樹状突起は、それ自体がこみいった計算をします。シナプスは1つの重みではなく、複雑に変わり続けるしくみです。スパイクを出すタイミングが大事なところもあります。

この分野は初め、脳のしくみを表すことをおもな目当てにしていましたが、その後は離れて、機械学習でよい結果を出すための工学になりました。名前と考えは脳から借りましたが、今のニューラルネットワークは、脳を写すためのものではありません。

1943年、マカロック（Warren McCulloch）とピッツ（Walter Pitts）は、論文「神経の活動にひそむ考えの、論理による計算」を出しました。神経の活動は、信号を出すか出さないかの「全か無か」なので、正しいか正しくないかを組み合わせる論理で扱える、という考えです。神経細胞をつないだ網（ネット）のふるまいは、どれもこのやり方で表せる（輪になった網には、もっと込み入った論理を足す）、と論文の要旨は書いています。

1958年、コーネル航空研究所の心理学者ローゼンブラット（Frank Rosenblatt）は、論文「パーセプトロン：脳の中で情報をたくわえ、まとめるしくみの、確率のモデル」を出しました。同じ年の7月、アメリカ海軍研究局がパーセプトロンを公開しました。部屋ほどの大きさのコンピューター IBM 704 に、印の付いたカードを次々に読ませると、50回ためしたあと、左に印のあるカードと右に印のあるカードを、自分で見分けられるようになりました。ニューヨーク・タイムズは「海軍の新しい装置、やってみて学ぶ」という見出しを付けました。

パーセプトロンは、脳の中で神経細胞が協力して働くようすから考えを得た、層が1つのニューラルネットワークでした。1969年には、ミンスキー（Marvin Minsky）とパパート（Seymour Papert）が本『パーセプトロン』でローゼンブラットの仕事を強く批判し、この本がローゼンブラットの研究の行く末を、ほぼ決めてしまったといわれます。それでも、コーネル大学のヨアヒムス教授（Thorsten Joachims）は、ローゼンブラットのやり方は、今の深いネットワークの学ばせ方の土台になっている、と話しています。

その後、1982年にホップフィールド（John Hopfield）が、覚えた記憶の、十分な大きさの一部から、記憶の全体を取り出せるネットワークの論文を出しました。1985年にはヒントンたちが「ボルツマンマシン」の学び方を、1986年にはラメルハート、ヒントン、ウィリアムズが誤差逆伝播法を示しました。

2024年10月8日、スウェーデン王立科学アカデミーは、ノーベル物理学賞を、アメリカのプリンストン大学のホップフィールドと、カナダのトロント大学のヒントンに贈ると発表しました。賞の理由は「人工のニューラルネットワークによる機械学習を可能にした、基礎となる発見と発明に対して」です。2人は、物理学の道具を使って、今の強力な機械学習の土台になるやり方を作りました。

ホップフィールドのネットワークは、絵などの形を覚えておき、もう一度つくり出すしくみです。ノードは、絵の点（画素）だと考えることができます。原子の「スピン」（原子1つ1つを小さな磁石にする性質）による物質の性質を表す物理学を使い、覚えた絵の「エネルギー」が低くなるように、ノードどうしのつながりの値を決めておきます。くずれた絵や欠けた絵を入れると、少しずつノードの値を直して、覚えた絵のうち、いちばん似ている絵にたどり着きます。たとえるなら、覚えた絵は、でこぼこの地面の「くぼみ」です。坂のどこにボールを置いても、いちばん近いくぼみへ転がって止まるように、くずれた絵も、近くの覚えた絵に落ち着きます（このたとえは、このページで作ったもの）。

ヒントンは、ホップフィールドのネットワークをもとに、「ボルツマンマシン」という新しいネットワークを作りました。たくさんの同じような部分でできたものを扱う、統計物理学の道具を使っています。例を見せて学ばせると、その種類のデータの特徴を見分けられるようになり、絵を分類したり、学んだ種類の新しい例を作ったりできます。ヒントンはこの仕事をさらに進めて、今の機械学習の爆発的な発展を始める手助けをしました。

ノーベル物理学委員会の委員長エレン・ムーンス（Ellen Moons）は、物理学でも、決まった性質を持つ新しい素材を作ることなど、とても多くの分野でニューラルネットワークを使っている、と話しています。