ハイパーパラメーター（AIの学習の設定）とは？

パラメーターは、AIのモデルが学習の中で身につける、重みとバイアスです。ハイパーパラメーターは、その学習のしかたを決める値で、人（か、設定を探す道具）が、学習の外から与えます。たとえば、学習率を0.01にして学習させ、高すぎると分かったら、次の学習では0.003にしてみる、というように決めます。

「パラメーター」のページの、音の調整卓のたとえで言えば、つまみ1つ1つの位置がパラメーターで、「1回にどれだけ回すか」のような回し方の決まりが、ハイパーパラメーターです。ハイパーパラメーターはモデルの中に入っている数ではないので、「700億パラメーター」の数にも入りません。

学習率は、1回に重みとバイアスをどれだけ大きく直すかです。学習率が0.3なら、0.1のときの3倍の強さで直します。低すぎると、学習に時間がかかりすぎます。高すぎると、ずれがいちばん小さい所をとびこえて、まわりを行ったり来たりしたり、ずれがかえって増え続けたりします。

バッチの大きさは、重みとバイアスを1回直すまでに、いくつの例を使うかです。訓練用のデータが1,000個で、バッチの大きさが100なら、10回直すと全部を1周（1エポック）します。20周すると、直す回数は200回です。例を1つずつ使うと20,000回、全部をまとめて使うと20回になります。1つずつのように小さいバッチでは、1回ごとの結果のばらつき（ノイズ）が大きく、ずれが増える回も出ます。ただ、少しのばらつきは、かえって役立つこともあります。

エポック数は、例の全部を何周するかです。ふつう、多く回るほどよいモデルになりますが、時間もかかります。ただし、くり返しすぎると、学習に使わずに取っておいたデータでのずれが、途中から増え始めることがあります（過学習。くわしくは「機械学習」のページ）。

ほかにも、層の数や、1つの層のノード（人工のニューロン）の数（層の幅）のように、モデルの大きさや形を決める値も、ハイパーパラメーターです。覚えすぎを防ぐしくみ（正則化）の強さも、その1つです。

ありません。よい学習率は問題ごとにちがい、モデルとデータごとに、それぞれのよい学習率があります。よいバッチの大きさも、データと、使える計算機の力によって変わります。

設定どうしも、からみ合っています。ほとんどのハイパーパラメーターのよい値は、バッチの大きさによって変わるので、バッチの大きさを変えたら、学習率などを選び直すことになります。よい学習率は、層の数のような、モデルの形によっても変わります。

どの設定がよく効くかも、データによってちがいます。2012年の論文（Bergstra と Bengio）は、多くのデータでは、本当に効くのは一部の設定だけで、しかも、どの設定が効くかはデータによってちがう、と示しました。だから、新しいAIを作るたびに、試して選ぶことになります。

基本は、いくつかの値で学習させてみて、成績を比べることです。よく使われてきたやり方の1つが「グリッドサーチ」で、設定ごとに試す値を決め、そのすべての組み合わせを、ます目のように並べて試します。ただ、組み合わせの数はかけ算で増えます。4つの設定を3つの値ずつ試すだけで、3×3×3×3＝81回の学習が要ります。

「ランダムサーチ」は、試す値をでたらめに選びます。2012年の論文（Bergstra と Bengio）は、ニューラルネットワークの設定を同じ範囲で探すなら、でたらめに選ぶほうが、ずっと少ない計算で、同じかよいモデルが見つかることを示しました。隠れ層が1つのニューラルネットワークでは、でたらめの8回が、ます目の平均100回と同じか、よい結果でした。効く設定が一部だけのとき、ます目では、効く設定の同じ値を何度もくり返して試してしまうからです。

「ベイズ最適化」は、それまでに試した結果から、まだ試していない値ではどんな成績になりそうかを予想し、よさそうな値を次に試す、をくり返すやり方です。2012年の論文（Snoek ほか）は、このやり方で、ニューラルネットワークなど、いくつかの種類のAIの設定を選び、人の専門家と同じか、それを上回る選び方ができたと示しました。Google の研究者たちの手引きは、初めに広く探るときは、でたらめに近い選び方を、よい所をしぼりこむときは、ベイズ最適化などを勧めています。

学習に使ったデータ（訓練用のデータ）で比べると、データを丸暗記した（過学習した）設定ほど、よく見えてしまいます。知りたいのは、初めて見るデータでの成績です。そこで、データを3つに分けます。訓練用のデータで学ばせ、検証用のデータで成績を比べて設定を変え、いちばんよかったものを、最後にテスト用のデータで確かめます。分け方の例は、訓練用70%・検証用15%・テスト用15%です。

テスト用のデータは、設定を選ぶのに使いません。テストのたびに設定を変えることを何回もくり返すと、知らないうちに、テスト用のデータのくせに合わせてしまうからです。そうなると、テストの成績が、初めて見るデータでの本当の力より、よく見えてしまいます。

検証用のデータも、何度も使ううちに「すり減って」いきます。同じデータで何回も比べて選ぶうちに、そのデータのくせにたまたま合う設定を選びやすくなり、新しいデータでもよく当たると信じられる度合いが下がるのです。新しいデータを集めて入れ替えるとよい、とされています。答えの付いたデータを見て設定を決めるのだから、設定を選ぶことも一種の学習だ、という見方もあります。

何十億個ものパラメーターを持つ大きなAIは、学習1回に大きな計算が要るので、設定を変えて何回も学習させるのは、お金と時間がかかりすぎます。

そこで、小さいモデルで選んだ設定を、大きいモデルに使う工夫があります。2022年の論文（Yang ほか。Microsoft と OpenAI の研究者たち）は、モデルを「μP」という特別な作り方（モデルの幅に合わせて、層ごとの学習率などを決まった割合で変えておく作り方）にしておくと、学習率などのよい値の多くが、モデルの大きさを変えても、あまり変わらないことを示しました。パラメーター約4000万個の小さいモデルで選んだ設定を、GPT-3 のうち67億個の大きさのものにそのまま使うと、前に発表された成績を上回り、設定を選ぶのにかかった計算は、学習全体の7%で済みました。ただし、覚えすぎを防ぐしくみ（正則化）の設定などは、こうして移せない、とも書いています。

たくさんの候補を、勝ち抜き戦のように選ぶやり方もあります。初めは全部の候補を少ない計算で試し、成績のよかった一部だけに、次はもっと多くの計算を使う、をくり返します（英語で successive halving と呼ばれます）。

温度は、AIが答えを出すときの、でたらめさの度合いを決める設定です。高いほど答えがばらつき、低いほどばらつきが少なくなります。どの温度がよいかは、使い道によります。

呼び方は、資料によってちがいます。Google の機械学習の用語集はハイパーパラメーターと呼んでいますが、Google の Gemini の使い方の説明（Google AI Studio）では「モデルのパラメーター」と呼んでいます。どちらにしても、学習のしかたではなく、学習が終わったAIが答えを出すときの設定で、学習で決まる重みやバイアスとは別のものです。