ニューラルネットワークの規模を効率的に拡大するためのアーキテクチャ設計手法。入力に応じて処理を担当する専門家ネットワーク（エキスパート）を動的に切り替える。全体の一部のみを活性化させることで、計算コストを抑えながらパラメータ数を増大させ、高度な表現力と高速な推論処理を両立できる画期的な技術である。
ミクスチャー・オブ・エキスパートとは
ミクスチャー・オブ・エキスパート（MoE）とは、ニューラルネットワークにおいて、入力データの特性に応じて処理を担当するニューラルネットワーク（エキスパート）を動的に選択・切り替えるニューラルネットワークの設計手法（アーキテクチャ）です。すべてのパラメータを毎回の処理で活性化させるのではなく、一部のみを使用することで、計算コストを抑えながら大規模なモデルを構築できます。
詳しく解説
通常のディープラーニングモデルでは、入力に対してすべてのパラメータが計算に動員されます。これに対し、ミクスチャー・オブ・エキスパートでは、複数の「エキスパート」と呼ばれるサブネットワークと、入力をどのエキスパートに割り振るかを決定する「ゲートネットワーク」（ルーター）で構成されます。ゲートネットワークが入力ごとに最適なエキスパートを少数（例えば1〜2個）選択し、そのエキスパートのみが計算を実行します。これにより、モデル全体のパラメータ数が数百億、数千億規模になっても、1回あたりの計算に必要なアクティブなパラメータ数を数分の一から数十分の一に抑制でき、ハードウェアの計算資源を効率的に活用しながら、高い表現力と推論性能を両立できます。特に大規模言語モデル（LLM）の分野で、モデルの巨大化に伴う課題を解決する技術として急速に普及しています。
具体例・使われ方
具体的な利用例として、メタ（Meta）のLlama 3.1やミストラルAI（Mistral AI）のMixtral 8x7B、オープンAI（OpenAI）のGPT-4などでミクスチャー・オブ・エキスパートが採用されているとされています。また、画像処理や音声認識、機械翻訳など、多様な種類のデータを1つのマルチモーダルモデルで扱う際にも、テキスト処理、画像認識、音声認識のそれぞれを得意とするエキスパートを内部に配置し、入力データに応じて動的に切り替えるというアプローチに活用されています。
似た用語との違い
「高密度モデル（Dense Model）」との違いが顕著です。高密度モデルは、入力を処理する際にすべてのパラメータを稼働させます。一方、ミクスチャー・オブ・エキスパートは「スパースモデル（Sparse Model）」の一種であり、入力ごとに一部のパラメータのみを活性化させるため、同じ計算コストであればミクスチャー・オブ・エキスパートの方がより多くのパラメータを持つことができます。また、単純なモデル・アンサンブルは複数の独立したモデルの出力を最後に平均化するのに対し、ミクスチャー・オブ・エキスパートは1つの大きなニューラルネットワークの内部にエキスパートが統合され、エンドツーエンドで同時に学習される点で異なります。
注意点
課題として、トレーニング（学習）や推論におけるメモリフットプリント（メモリ消費量）の増大が挙げられます。アクティブなパラメータ数は抑えられても、すべてのエキスパートのパラメータをVRAMなどのメモリにロードしておく必要があるため、巨大なハードウェア資源が必要です。また、ゲートネットワークによる負荷分散が偏る（特定のエキスパートばかりが選ばれる）ことを防ぐためのチューニングや、分散並列処理の実装が非常に複雑であるという開発上の技術的障壁も存在します。