MMLUは大規模言語モデルの総合的な知識と問題解決能力を測るための代表的なベンチマークテストです。人文科学や社会科学、STEM分野など幅広い専門知識を問う選択式問題で構成されており、AIの学力測定における標準指標として広く利用されています。
MMLUとは
MMLU（Massive Multitask Language Understanding）とは、大規模言語モデル（LLM）の幅広い知識と推論能力を多角的に評価するために開発された標準的なベンチマークテストのことです。人間と同等あるいはそれ以上のレベルで、多様な学術分野の問題をどれだけ正確に理解し解答できるかを測る指標として広く用いられています。
詳しく解説
MMLUは、小学校から大学専門レベルまでの幅広い学術分野をカバーするように設計されたテストスイートです。人文科学、社会科学、STEM（科学・技術・工学・数学）のほか、専門的な法律や医学といった分野まで、合計50以上の多様なタスクが含まれています。すべての問題は4択の選択式形式で出題され、AIが単なる暗記だけでなく、言語の文脈理解や論理的な推論を行えているかを総合的に検証します。AI開発における競争が激化する中、新しいモデルが発表される際の「総合的な頭の良さ」を示す共通の基準として非常に重要な役割を担っています。
具体例・使われ方
例えば、物理学の高度な法則に関する問題、歴史的な出来事の背景を問う問題、あるいは医学の専門知識が必要とされる選択問題などがMMLUに含まれます。AI開発企業は、新型の大規模言語モデルを一般公開する前にこのテストを実施し、得られた正答率（スコア）を競合他社のモデルと比較することで、自社モデルの性能向上を客観的に証明します。
似た用語との違い
特定のプログラミング能力のみを測る「HumanEval」や、数学の文章題に特化した「GSM8K」といった特定の領域に特化したベンチマークとは異なり、MMLUは多種多様な学術分野を横断した総合的な知識量を測る点に大きな違いがあります。
注意点
MMLUは広く使われている指標ですが、インターネット上の公開データからテスト問題が学習データに事前に入り込んでしまう「データ汚染」の問題が指摘されています。そのため、純粋な未知の問題への対応力や推論力を正確に測れていない可能性や、高得点であっても実際のビジネス利用における実用性と直結しない場合がある点に注意が必要です。