最小二乗法は、データから得られた点群に対して誤差の二乗和が最小となるような数式モデルを求める数学的な手法です。AIや機械学習において、データの傾向を分析する回帰分析の基礎として広く活用されています。
最小二乗法とは
一言でいうと、多くのデータ点に最もよく当てはまる直線や曲線を見つけるための数学的手法です。
詳しく解説
最小二乗法は、観測されたデータと、モデル（数式）が予測した値との差（残差）の二乗を計算し、その合計が最も小さくなるようにパラメータを決定する仕組みです。1805年に数学者のガウスやルジャンドルによって見出され、統計学やデータ分析における基礎的な最適化手法として定着しました。AIや機械学習の分野においては、教師あり学習の代表的なアルゴリズムである線形回帰などで目的関数を最小化する際の中核技術として機能しています。
具体例・使われ方
例えば、広告宣伝費と商品の売上データの関係を分析し、「広告費をいくらにすれば売上がどれくらいになるか」を予測するモデルを作る際に使われます。また、AIが予測した値と実際の正解値との誤差を評価する平均二乗誤差の計算にもこの考え方が応用されています。
似た用語との違い
最尤法（さいゆうほう）という別の統計的推定手法と比較されることがあります。最小二乗法が「誤差の最小化」を直感的に目指すのに対し、最尤法は「観測データが得られる確率が最も高くなるパラメータ」を確率モデルに基づいて推定する点でアプローチが異なりますが、誤差が正規分布に従う場合は結果的に同じ推定値になることが多いです。
注意点
外れ値（極端に大きいまたは小さいデータ）に非常に弱いという欠点があります。1つの大きな外れ値が存在するだけで、算出される直線や曲線の傾きが大きく歪んでしまうため、データの事前クリーニングが必要です。また、データが非線形な関係にある場合、単純な線形モデルによる最小二乗法では正確な予測ができない点にも注意が必要です。