GSM8K
GSM8Kは、大規模言語モデルの数学的推論能力を評価するために広く使用されているベンチマークです。小学校レベルの文章題を通じて、AIが段階的な思考プロセスを経て正確な計算結果にたどり着くかを測定します。
ベンチマークのAI用語一覧
4件ベンチマークに関するAI用語を4件掲載しています。意味や使い方、関連用語を一覧から確認できます。
MBPP
MBPP（Mostly Basic Python Problems）は、大規模言語モデルのコード生成能力を評価するために設計されたベンチマークデータセットです。約1,000個のエントリーレベルのPythonプログラミング問題で構成されており、各問題には自然言語による指示、解答となるコード、そして動作検証用のテストケースが含まれています。
MATH
MATHは、人工知能や大規模言語モデル（LLM）の高度な数学的推論能力を測定・評価するためのベンチマークデータセットです。高校の数学オリンピックレベルを含む難解な数学問題が収録されており、従来の単純な計算問題にとどまらず、複雑な論理的思考や多段階のステップを伴う解法が必要とされるため、AIの知能レベルを測る重要な指標となっています。
HumanEval
HumanEvalは、OpenAIが開発した大規模言語モデルのコード生成能力を測定するための代表的なベンチマークデータセットです。Pythonの基本的なプログラミング問題164問で構成されており、生成されたコードが用意された単体テストを正しく通過するかどうかを評価します。AIのコーディング実力を客観的に測る標準指標として広く用いられています。