Adam（Adaptive Moment Estimation）は、深層学習の最適化アルゴリズムの一つです。勾配のモーメントを利用して学習率を自動調整し、効率的かつ安定したパラメータ更新を実現するため、多くのモデル訓練で標準的に採用されています。
Adamとは
一言でいうと、Adamとは「過去の勾配の履歴を考慮しつつ、パラメータごとの学習率を自動で最適化するアルゴリズム」です。
詳しく解説
Adamは、モメンタム法とRMSpropという二つの最適化手法の利点を組み合わせたアルゴリズムです。勾配の一次モーメント（平均）と二次モーメント（未中心分散）の指数移動平均を計算し、それを用いて各パラメータの学習率を個別に調整します。これにより、スパースな勾配やノイズの多いデータに対しても頑健に動作し、効率的なモデルの最適化が可能になります。
具体例・使われ方
画像認識や自然言語処理など、様々なディープラーニングモデルの訓練において広く使われています。特に、TransformerやCNNといった複雑なニューラルネットワークのパラメータを効率よく収束させたい場面で利用されます。
似た用語との違い
確率的勾配降下法（SGD）と比較して、Adamは学習率を自動調整するため手動でのチューニングの手間が少ないという特徴があります。一方で、SGDは適切に設定された場合にはAdamよりも汎化性能が高くなるケースもあるため、タスクに応じて使い分けられます。
注意点
Adamは多くのケースでうまく機能しますが、過学習を起こしやすい場合があることや、一部のタスクでは最終的な汎化性能がSGDに劣る場合がある点に注意が必要です。また、ハイパーパラメータの初期設定によっては収束が不安定になることもあります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月1日 00:21