学習率とは、機械学習やディープラーニングのモデルを訓練する際に、パラメータを一度にどれだけ更新するかを調整する重要なハイパーパラメーターです。学習率が大きすぎると最適な解を通り過ぎてしまい学習が収束せず、小さすぎるとモデルの学習に非常に時間がかかったり局所解にとらわれたりします。
学習率とは
学習率は、機械学習モデルがデータから学習する際に、1回の更新ステップで重みパラメータを修正する幅を決める指標です。
詳しく解説
ニューラルネットワークなどの機械学習モデルでは、予測結果と実際の正解との誤差を示す損失関数を最小化するように学習を進めます。この際、勾配降下法などの最適化アルゴリズムを用いて、損失関数の勾配（傾き）を計算し、その方向に向けてモデルのパラメータを更新します。学習率は、その勾配に対して掛け合わせる係数として機能します。適切な学習率の設定は、モデルが効率的かつ正確に最適なパラメータに到達するために不可欠であり、学習の安定性と速度を左右する重要なハイパーパラメーターです。
具体例・使われ方
山下り（損失関数の最小化）に例えると分かりやすくなります。学習率が大きい状態は大股で山を降りるようなもので、一気に下れる反面、谷底（最適解）を飛び越えて反対側の斜面に飛び移ってしまうリスクがあります。一方、学習率が小さい状態は歩幅を極端に小さくして慎重に歩くようなもので、谷底に安全に近づけるものの、歩みが遅すぎて目的地に到達するまでに莫大な時間がかかります。
似た用語との違い
学習率と混同されやすい概念に「エポック」や「バッチサイズ」があります。エポックは学習データ全体を何回繰り返し学習に使うかという回数を指し、バッチサイズは1回のパラメータ更新に使うデータの数を指します。これらは学習の範囲や頻度を設定するものであり、パラメータを更新する歩み（修正の大きさ）を決める学習率とは役割が異なります。
注意点
学習率は事前に人間が設定する必要があるハイパーパラメーターであり、固定値ではなく学習の進行に合わせて動的に変化させるスケジューリングが用いられることも多くあります。また、学習率単体で調整するだけでなく、他の設定値やモデルの構造と合わせて総合的に調整する必要があります。