Mixture of Experts（MoE）は、複数の「専門家（エキスパート）」と呼ばれる小規模なニューラルネットワークを組み合わせ、入力データに応じて適切な専門家を選択して処理を行う機械学習のアーキテクチャです。全パラメータを同時に活性化させない「スパース活性化」により、計算コストを抑えながらモデルのパラメータ数を大幅に巨大化させることが可能です。
Mixture of Experts（MoE）とは
Mixture of Experts（MoE）とは、ニューラルネットワークの規模を効率的に拡大するための手法であり、一言でいうと「入力データに応じて処理を担当する専門家ネットワークを動的に切り替える仕組み」です。すべてのパラメータを毎回の処理で動かすのではなく、必要な部分だけを活性化させることで、計算リソースを抑えつつ超巨大なモデルを構築・運用できます。
詳しく解説
従来の密なニューラルネットワーク（Dense型）では、入力されるすべてのトークンに対してすべてのパラメータが計算に用いられます。これに対し、MoEではモデルの内部に複数の「エキスパート」と呼ばれるサブネットワークと、入力をどのエキスパートに割り振るかを決定する「ゲートネットワーク（Gating Network、またはルーター）」を配置します。ゲートネットワークは入力データを評価し、最適な1つまたは少数のエキスパートを選択して処理を委ねます。この「スパース活性化」という仕組みにより、実質的な計算量（アクティブなパラメータ数）を一定に保ちながら、モデル全体の総パラメータ数を数千億から数兆規模へと膨大にスケールアップさせることが可能になりました。近年の大規模言語モデル（LLM）の発展において、性能向上と推論コスト削減を両立する中核技術として急速に注目を集めています。
具体例・使われ方
実用例として、OpenAIのGPT-4や、Mistral AIが開発したMixtral 8x7Bなどの大規模言語モデル（LLM）が挙げられます。例えば、Mixtral 8x7Bでは全体として数億から数十億規模の複数のエキスパートが用意されており、推論時には各トークンに対して上位2つのエキスパートのみが選択されて動作します。ユーザーが「プログラミングのコード生成」を依頼した際にはコード生成に特化したエキスパートが、「歴史的な質問」をした際には歴史知識に富んだエキスパートが自動的に選択されて処理を行うようなイメージです。これにより、単一の巨大モデルを動かすよりも高速かつ低消費電力で高精度な回答を出力できます。
似た用語との違い
アンサンブル学習との違いがよく混同されます。アンサンブル学習は、独立して訓練された複数のモデル（例えば複数の決定木など）のすべてに同じ入力を与えて、その出力結果の平均や多数決を取る手法です。一方でMoEは、単一の巨大なネットワークの内部構造として組み込まれており、入力に応じて動的に処理するパーツ（エキスパート）を切り替えるため、全てのパーツが同時に稼働するわけではありません。また、マルチタスク学習との違いとしては、マルチタスク学習が特定のタスクごとに手動で設計された異なる出力層などを用いるのに対し、MoEはゲートネットワークがデータの特徴に基づいて自律的に処理を割り振る点が異なります。
注意点
MoEの最大の課題は、学習の不安定性とメモリ効率の低下です。学習時に特定のエキスパートだけに処理が集中してしまう「ルートの偏り」が発生しやすく、これを防ぐために各エキスパートへ負荷を均等に分散させる特別な損失関数の設計が必要です。また、計算時のアクティブパラメータ数が少なく抑えられるとしても、モデル全体の巨大なパラメータをすべてGPUのメモリ（VRAM）上に保持しておく必要があるため、推論を実行する際には非常に大きなメモリ容量が要求されるというハードウェア面の制約があります。