ハイパーパラメータとは、機械学習モデルの訓練を開始する前に人間や外部アルゴリズムが事前に設定する調整用パラメータです。モデルの学習プロセスそのものや構造を制御する役割を持ち、学習率やバッチサイズ、エポック数などが代表例です。モデルがデータから自動的に獲得する通常のパラメータとは区別され、予測精度や学習速度を左右する極めて重要な要素です。
ハイパーパラメータとは
ハイパーパラメータとは、一言でいうと「機械学習モデルの学習を始める前に、人間があらかじめ指定しておく設定値」です。
詳しく解説
機械学習やディープラーニングにおいて、モデルは入力データからパターンを学び、内部の「パラメータ」（重みやバイアス）を自動的に更新します。一方、ハイパーパラメータはその「どのように学習を進めるか」や「どのようなモデル構造にするか」を外部から指定するための指標です。例えば、1回の学習でパラメータをどれだけ大きく変化させるかを決める「学習率」や、データを何回繰り返して学習させるかを指定する「エポック数」などが該当します。適切に設定されていないと、学習が全く進まなかったり、訓練データだけに過剰に適合してしまう過学習が発生したりするため、モデルの性能を最大限に引き出すには最適なハイパーパラメータ探索（チューニング）が不可欠です。
具体例・使われ方
具体例としては、ニューラルネットワークにおける隠れ層の数やノード数、最適化アルゴリズムの選択、学習率などが挙げられます。また、ハイパーパラメータを効率的に探す手法として、候補を網羅的に試す「グリッドサーチ」や、確率モデルを利用して効率的に良い組み合わせを探す「ベイズ最適化」などが利用されます。自動車の運転に例えると、車自体がデータから運転技術を習得するのに対し、アクセルの踏み込みやすさやハンドルの重さといった基本設定をあらかじめ調整しておく作業がハイパーパラメータの設定に相当します。
似た用語との違い
通常の「パラメータ」との違いが最も重要です。パラメータ（重みやバイアス）は、モデルが学習データを使って自動的に最適な値を算出・更新していく値です。これに対し、ハイパーパラメータはモデル自身が学習によって自動更新することができず、学習が始まる前に人間が決定しなければならない設定値であるという違いがあります。
注意点
ハイパーパラメータの調整には注意が必要です。特定のデータに対して過度にハイパーパラメータを最適化しすぎると、未知のデータに対する予測性能が落ちる過学習を引き起こすリスクがあります。また、組み合わせの数が膨大になると、探索に非常に多くの計算時間とコストがかかるため、適切な探索手法や手動・自動のバランスを考慮して選定することが求められます。