混合エキスパート（MoE）とは？

Google の機械学習の用語集は、MoE を「パラメーターの一部（エキスパートと呼ぶ）だけを使って、入ってきたかけらや例を処理し、ニューラルネットワークの効率を上げるやり方」と説明しています。つまり「専門家」（エキスパート）は、人でも別のAIでもなく、AIの中で計算に使う数（パラメーター）のまとまりです。Mixtral 8x7B を出した Mistral AI も、8人の専門家を「8つの別々のパラメーターのグループ」と書いています。

Mixtral では、32段に重なった部品の、各段の中の一部（フィードフォワードと呼ばれる部品のまとまり）が、8人の専門家に分かれています。言葉のかけら（トークン）が来ると、受付（ルーター。ゲートとも呼ぶ）が8人それぞれに点数を付け、点の高い2人を選びます。2人の計算結果は、点数から決めた重みで足し合わせて、次の段へ渡します。受付も、学ぶうちに決まる部品です。

これを段ごと、かけらごとに行うので、同じ文章の中でも、かけらが変われば呼ばれる専門家も変わります。論文も「どのかけらも2人の専門家しか見ないが、選ばれる専門家は、そのたびに変わりうる」と書いています。

名前の「8x7B」を掛け算すると560億ですが、論文の数は、全部で470億個です（会社の発表では467億個）。専門家に分かれているのは、段の中の一部の部品だけで、ほかの部品は分かれていないからです。

AIを大きく（パラメーターを多く）したいけれど、計算は増やしたくないからです。2017年の Google Brain の研究者たちの論文は、1文目で「ニューラルネットワークが情報を取り込める量は、パラメーターの数で限られる」と書いています。

でも、ふつうの作りのAIは、入ってきたもの1つごとに、全部のパラメーターを使って計算します。数を増やすほど、計算も増えます。そこで、入ってきたものごとに、ネットワークの一部だけを動かす（論文の言葉では「条件つきの計算」）。この論文は、何千もの専門家を並べた MoE で、計算の効率をわずかに落とすだけで、覚えられる量を1000倍より大きくできた、と書いています。

Mixtral の論文も、この作りは「パラメーターの数を増やしながら、費用と待ち時間を抑える」と書いています。Mixtral は、1かけらで動かすパラメーターが Meta の Llama 2 70B の5分の1なのに、論文で比べた試験の多くの分野で、Llama 2 70B を上回りました。

名前からは、数学の専門家や日本語の専門家がいるように思えます。でも、係は人が決めるのではなく、学ぶうちに分かれます。では、何で分かれたのか。2つの研究が調べています。

Mixtral の論文は、学ぶうちに、特定の分野の専門家ができたかを調べました。科学の論文（arXiv）・医学や生物の論文の要旨（PubMed）・哲学の文章（PhilPapers）で、専門家ごとに選ばれた割合はよく似ていて、論文は「意外にも、話題にもとづく、はっきりした割り当ての傾向は見られない」と書いています（計算問題の集まり〔DM Mathematics〕だけは、少し違いました）。

代わりに、Python の self や英語の Question のように、1つの言葉を作るいくつかのかけらが、同じ専門家によく回りました。示された例では、特に最初と最後の段で、プログラムの字下げのかけらが、いつも同じ専門家に回っていました。続けて並んだかけらを、同じ専門家が受け持つことも多くありました。論文は、専門家の選ばれ方は、分野より、文の形（構文）にそろっているように見える、としています。

Google の研究者たちの ST-MoE（2022年）では、文章を読み取る側の専門家に、句読点ばかり、動詞ばかり、数が中心、名前（固有名詞）のかけらが中心、といった受け持ちが見つかりました。文章を書く側の専門家では、受け持ちはずっと目立ちませんでした。いろいろな国の言葉で学ばせたモデルでは、日本語の「で」「なので」と英語の and が同じ専門家に回り、論文は、言語ごとの専門家の証拠は見つからなかった、と書いています。

ただし、これは調べた2つのモデルで見えたことです。DeepSeek の研究者たちは2024年、専門家をもっと細かく分け、みんなに共通の知識を受け持つ「共有の専門家」を別に置いて、それぞれの専門家が受け持ちをはっきり持てるようにする作り（DeepSeekMoE）を出しています。

引きかえがあります。呼ばれない専門家も、次のかけらで呼ばれるかもしれないので、全部をメモリ（計算に使う机のような場所）に置いておく必要があります。Mixtral の論文は、動かすのに要るメモリは、1かけらで動かす130億個ではなく、全部の470億個に比例する、と書いています（それでも、Llama 2 70B よりは小さい）。

速さも、計算の量の割には上がらないことがあります。論文は、受付の仕組みによる余分な手間があり、たくさんの文章をまとめて処理する使い方のほうが向いている、と注意しています。

大きな MoE を手元で動かすときも、メモリが大事です。OpenAI の gpt-oss-120b（パラメーター1168億個。1かけらで動かすのは51億個）は、数を小さな形で持つ工夫（量子化）をして、80GBのメモリを持つ GPU（計算用の部品）1つに収まる、と説明書（モデルカード）に書いています。

放っておくと、集まります。2017年の論文は、受付は、いつも同じ数人の専門家に大きな重みを付けるようになりやすく、この偏りは自分で強まる、と書いています。よく選ばれる専門家ほど早く学び、受付にますます選ばれるからです。

そこで、学ぶときの減点（損失）に、全部の専門家が同じくらい大事に使われるよう促す分を足しました。2021年の Switch Transformers（Google）も、仕事が専門家に均等に配られるよう、補助の損失を足しています。この研究では、1人の専門家に決めた量より多くのかけらが来ると、あふれたかけらは、その専門家の計算を飛ばして、そのまま次の段へ渡されます。

DeepSeek-V3（2024年）の技術報告は、補助の損失を大きくしすぎると、AIの性能が落ちると書き、別のやり方を使いました。専門家ごとに「おまけの点」（バイアス）を受付の点数に足し、学ぶ1歩ごとに、混みすぎた専門家は下げ、すいている専門家は上げます。この点は、どの専門家を選ぶかだけに使います。

考え方は古く、1991年の論文「Adaptive Mixtures of Local Experts」（Jacobs・Jordan・Nowlan・Hinton。マサチューセッツ工科大学とトロント大学）にさかのぼります。たくさんの別々のネットワークを組み合わせ、それぞれが、学ぶ例の一部を受け持つように学ぶやり方です。母音を聞き分ける課題で、学ぶうちに、仕事がほどよい小さな仕事に分かれ、それぞれを、とても簡単な「専門家のネットワーク」（expert network）が解いた、と書いています。

2017年、Google Brain の Shazeer たちが、これを大きな言葉のAIに使いました。何千もの専門家から、受付がほんの一部だけを選ぶ「まばらな」MoE で、パラメーターは最大1370億個。文章の続きを当てる課題と、翻訳で試しました。

2021年の Switch Transformers（Google）は、選ぶ専門家を1人だけにして仕組みを簡単にし、同じ計算機で、学ぶ速さが最大7倍になったと書いています。いちばん大きなモデルは、専門家が2048人、パラメーターは1.6兆個でした。その後、Mistral AI が2023年12月に Mixtral 8x7B を公開し、2024年1月に中身の論文を出しました。

作った会社が、論文や説明書で MoE だと書いているものには、次のようなものがあります。Mixtral 8x7B（Mistral AI。段ごとに8人から2人）。DeepSeek-V3（DeepSeek、2024年12月。パラメーター6710億個のうち、1かけらで動かすのは370億個。専門家に分かれた段では、256人から8人と、共有の専門家1人）。gpt-oss-120b と gpt-oss-20b（OpenAI、2025年8月。120b は128人、20b は32人の専門家から、1かけらごとに4人を選ぶ）。gpt-oss は、重み（パラメーター）を公開したモデルです。

Google は、Gemini 1.5 Pro（2024年）の技術報告で「疎な（まばらな）MoE の、トランスフォーマーを元にしたモデル」と書き、Gemini 2.5 の技術報告（2025年）でも、Gemini 2.5 のモデルは疎な MoE だと書いています。どちらも、専門家の数やパラメーターの数は書いていません。

OpenAI は、GPT-4 の技術報告（2023年）で、競争と安全のことを考えて、作り（モデルの大きさを含む）の詳しいことは書かない、としています。Claude（Anthropic）についても、MoE かどうかを書いた公式の資料は、このページを作るときには見つけられませんでした。ですから、ChatGPT や Claude の中身が MoE かどうかは、ここでは言えません。