クラスタ内誤差平方和とは、クラスタリングにおいて各データ点と所属するクラスタの中心点との距離の二乗を合計した指標です。データのまとまり具合を評価し、k-means法などのアルゴリズムで最適なクラスタ数を決定するためのエルボー法などに広く活用されます。
クラスタ内誤差平方和とは
一言でいうと、クラスタ内誤差平方和とは「クラスタリングされたデータが、どれだけ中心の周りにコンパクトにまとまっているかを示すバラツキの大きさ」を表す指標です。
詳しく解説
クラスタ内誤差平方和は、各クラスタ内部におけるデータポイントとクラスタ重心とのユークリッド距離の二乗和を、すべてのクラスタについて足し合わせたものです。この値が小さいほど、同じクラスタに属するデータ同士が互いによく似ており、密なまとまりを作っていることを意味します。機械学習の非階層型クラスタリング手法であるk-means法では、この誤差平方和を最小化するように重心の位置とクラスタの割り当てを繰り返し更新します。また、最適なクラスタ数を見つけるためのエルボー法では、クラスタ数を増やしていったときのこの値の減少具合をグラフ化し、減少率が緩やかになる変曲点を判断材料にします。
具体例・使われ方
顧客セグメンテーションの分析において、購買履歴や年齢などの特徴量をもとに顧客をいくつかのグループに分ける際、クラスタ内誤差平方和を計算します。これにより、グループ内の顧客像がどの程度統一されているかを数値で確認し、マーケティング施策に最適なグループ分けの粒度を検証できます。また、画像圧縮におけるカラー量子化では、代表色周辺のピクセルの誤差を評価するためにも利用されます。
似た用語との違い
クラスタ間誤差平方和や全変動といった他の指標と混同されやすいですが、クラスタ内誤差平方和は「クラスタ内の凝集度」に特化しています。これに対し、クラスタ間誤差平方和は異なるクラスタ同士がどれだけ離れているかを示します。また、決定係数などとは異なり、変数のスケールやクラスタ数そのものによって値の基準が大きく変動するため、単体の数値の大きさだけで良し悪しを絶対的に判断することはできません。
注意点
クラスタ内誤差平方和はクラスタ数が多くなるほど数学的に単調減少するため、データを細かく分けすぎれば値は小さくなります。そのため、値が小さいからといって必ずしもビジネスや解析の目的に適した最適なクラスタ数であるとは限りません。また、外れ値の影響を強く受ける性質や、データのスケール（単位や分散の大きさ）によって結果が大きく歪むため、事前のデータ標準化や前処理が不可欠である点に注意が必要です。