GSM8Kは、大規模言語モデルの数学的推論能力を評価するために広く使用されているベンチマークです。小学校レベルの文章題を通じて、AIが段階的な思考プロセスを経て正確な計算結果にたどり着くかを測定します。
GSM8Kとは
一言でいうと、GSM8KはAIの「算数の文章題を解く力」を測るための標準的なテストセットです。
詳しく解説
GSM8K（Grade School Math 8K）は、OpenAIの研究者らによって作成された約8,000問の高品質な小学校レベルの算数文章題からなるデータセットです。単純な計算だけでなく、問題文を読み解いて数式に翻訳し、複数のステップを経て答えを導き出す「思考プロセス（推論能力）」を評価できるように設計されています。大規模言語モデルが発展するにつれて、単なる記憶だけでなく段階的な論理思考ができるかを測る重要なベンチマークとして利用されています。
具体例・使われ方
例えば、「りんごが5個あります。2個食べました。新しく4個買いました。いま何個ありますか？」といった文章題をAIに解かせます。この際、答えだけでなく、「最初に5個あり、2個引いて3個になり、4個足して7個になる」というステップバイステップの思考過程（Chain of Thought）を出力させ、その正確性を評価する際にGSM8Kが使われます。
似た用語との違い
単純な四則演算や単発の計算能力を測定するベンチマークとは異なり、GSM8Kは複数のステップを組み合わせる「多段階の文章題」に特化している点が特徴です。より高度な数学的知識を問う数学コンテストレベルのベンチマーク（MATHなど）とも区別され、基礎的な推論能力の測定に用いられます。
注意点
GSM8Kのスコアが高いからといって、AIが人間のように真に論理を理解しているとは限りません。データセットに含まれる問題のパターンを学習（過学習）しているだけの可能性もあり、数字や設定を変えた応用問題では性能が低下することがあります。また、言語表現が変わると正解率に影響が出る点にも注意が必要です。