パラメーター（AIの中の数）とは？

パラメーターとは、モデルが学習の中で身につける「重みとバイアス」のことです。重みは、入ってきた数に掛ける数、バイアスは、それに足す数です。たとえば、入ってきた数が2、重みが0.8、バイアスが0.1なら、2×0.8＋0.1＝1.7 です。

直線の式 y＝ax＋b で言えば、a が重み、b がバイアスにあたります（バイアスは、直線が縦の軸と交わる所〔切片〕です）。ニューラルネットワークでは、ノード（人工のニューロン）をつなぐ線ごとに重みが1つ、ノードごとにバイアスが1つあります。小さな例（入れる数が3つ、隠れ層のノードが4つ、出力が1つ）では、重みが16個、バイアスが5個で、パラメーターは合わせて21個です（くわしくは「ニューラルネットワーク」のページ）。

「重み」は、パラメーター全体をまとめた呼び名としても使われます。たとえば、AIのモデルを動かす道具 Transformers の説明書（Hugging Face）は、「重み」を、モデルの中の数の表や並びのすべての意味で使う、と断っています（「オープンウェイト」の「ウェイト」は、英語の weight〔重み〕です）。

学習で決まります。学習（訓練）とは、モデルを作る、いちばんよいパラメーター（重みとバイアス）を決めることです。人が1つずつ考えて書きこむのではありません。

よく使うやり方が「勾配降下法」です。AIに答えを出させて、正しい答えとのずれ（損失）を測り、ずれが小さくなる向きへ、重みとバイアスを少しずつ直す。これを何度もくり返して、ずれがいちばん小さくなる組み合わせに近づけます。どの数をどちら向きに、どれだけ直すかは、答えの側からさかのぼって計算します（誤差逆伝播法。くわしくは「ニューラルネットワーク」のページ）。

大規模言語モデル（LLM）では、文章の続きを当てさせて、正しい次の言葉の確率が上がる向きへ直します（「大規模言語モデル」のページ）。学習が終わったAIと話すだけでは、ふつうパラメーターは変わりません。2020年の GPT-3 の論文の試験でも、パラメーターを直す計算はせず、やってほしいことと例を、文で見せるだけでした。

パラメーターの数、つまり、AIの中にある、学習で決めた数が何個あるかです。英語では10億を billion（ビリオン）と言い、B と略します。70B なら700億、175B なら1750億です。Meta の Llama 2（2023年）は、70億（7B）から700億（70B）までの大きさで出され、「Llama 2 70B」のように、名前に数が入っています。

数が多いほど、AIは多くのことを取りこみやすくなります。モデルが学べる問題の難しさ（モデルの容量）は、ふつうパラメーターの数とともに増えます。ニューラルネットワークが情報を取りこめる量は、パラメーターの数で限られるのです。

ただし、数を公表しないモデルもあります。OpenAI は、GPT-4 の技術報告（2023年）で、競争と安全のことを考えて、モデルの大きさを含む作りの詳しいことは書かない、としています。

大きくすると良くなる傾向は、はっきりあります。2020年の研究（Kaplan ほか）は、言葉のAIが次の言葉を当てるときの誤り（損失）が、パラメーターの数・学ぶデータの量・学習に使う計算の量を増やすほど、決まった形（べき乗則）でなめらかに小さくなる、と書いています。その関係が、1000万倍より広い範囲で続くものもありました。数が同じなら、層の数や幅などの形は、広い範囲であまり効かない、とも書いています。

でも、何をどれだけ増やすかの答えは、その後に変わりました。2020年の研究は、計算をいちばんうまく使うには、とても大きなモデルを、ほどほどの量のデータで学ばせるのがよい、としていました。2022年、DeepMind の研究者たち（Hoffmann ほか）は、7000万個から160億個より多いまでの、400個より多いモデルを学ばせて調べ直し、パラメーターの数と学ぶデータの量は同じ割合で増やすべきで、モデルを2倍にするならデータも2倍にすべきだ、と結論しました。当時の大きなモデルの多くは、学ぶデータが足りていなかった、というのです。

確かめるために作ったのが Chinchilla（チンチラ）です。DeepMind が前に作った Gopher（2800億個）と同じ計算の量で、パラメーターを4分の1の700億個にし、データを約4倍にしました。すると、Gopher や GPT-3（1750億個）、Megatron-Turing NLG（5300億個）などを、たくさんの試験で上回りました。MMLU という試験の平均の正解率は67.5%で、当時いちばん高い成績でした。小さいので、使うときの計算も少なくて済みます。

学び方でも変わります。2022年の研究（Ouyang ほか）では、人が書いたお手本と、人が付けた答えの順位を使って仕上げた、パラメーター13億個の InstructGPT の答えが、1750億個の GPT-3 の答えより、人に好まれました。論文は「パラメーターが100分の1なのに」と書いています。

パラメーターは、モデルが学習の中で計算して決める数です。ハイパーパラメーターは、学習のしかたを決める設定で、人（か、設定を探す道具）が先に決めておきます。

ハイパーパラメーターの例は、学習率（1回に重みとバイアスをどれだけ大きく直すか）、バッチの大きさ（重みとバイアスを1回直すまでに、いくつの例を使うか）、エポック数（学ぶ例の全部を何周するか）です。学習率が低すぎると、学習に時間がかかりすぎます。高すぎると、ずれがいちばん小さい所のまわりを行ったり来たりして、なかなか落ち着きません。

ハイパーパラメーターは、モデルの中に入っている数ではないので、「700億パラメーター」の数には入りません。なお、プログラミングでも、関数に渡す値を「パラメーター」と呼びますが、このページのAIのパラメーターとは別のものです。

動かすときに、全部の数をメモリ（計算に使う机のような場所）に置く必要があります。パラメーター1個はふつう、32ビット（4バイト）か16ビット（2バイト）の小数で持ちます。AIのモデルを動かす道具 Transformers（Hugging Face）の説明書が書かれたころは、ほとんどのモデルが16ビットの形で学習されていました。16ビットなら、要るメモリの目安は「パラメーターの数（10億個を1とした数）×2」GBで、Llama 2 70B なら 70×2＝140GB です。

説明書が書かれた時点で、いちばん大きな計算用のGPU（A100・H100）のメモリは80GBで、多くの大きなモデルは1枚に入りませんでした。そこで、数を小さな形で持つ「量子化」が使われます。重みを8ビットや4ビットにしても、性能があまり落ちないことが分かっていて、説明書の例では、150億個より多いモデルが、16ビットでは約31GB要るところ、4ビットでは約9.5GBで動きました。ただし、4ビットでは答えが変わることもよくある、とも書いています。

混合エキスパート（MoE）のAIでは、数の見方が2つあります。Mixtral 8x7B では、言葉のかけら（トークン）1つが使えるパラメーターは470億個ですが、実際に動かすのは130億個です。計算は130億個の分で済みますが、どの専門家が呼ばれてもよいよう、メモリには470億個の全部を置きます（くわしくは「混合エキスパート」のページ）。

学習で決めたパラメーター（重み）を公開して、ダウンロードして手元のコンピューターで動かせるようにした、AIのモデルのことです。こうしたモデルなら、使う人は、自分のデータをほかの会社などに渡さずに、モデルを使うこともできます。

たとえば OpenAI は、gpt-oss（2025年8月）を「オープンウェイト」のモデルとして出し、モデルの重みと、動かすためのプログラム、道具の環境、トークナイザー（文をトークンに分ける道具）を、Apache 2.0 という決まり（ライセンス）で公開する、と説明書（モデルカード）に書いています。Meta の Llama 2 も、重みを公開したモデルです。

重みを公開しても、学習に使ったデータまで公開するとは限りません。gpt-oss で公開すると書かれているものの中にも、学習に使ったデータは入っていません。アメリカ商務省の電気通信情報局（NTIA）の2024年7月の報告は、重みも、プログラムも、学習に使ったデータも見せないモデルを「アクセスが限られた」モデルと呼んで、分けています。