重み行列とは、ニューラルネットワークにおいて入力データに対するパラメータ（重み）を2次元の格子状（行列）にまとめた数値データです。層と層の接続強度を数値として保持し、入力値と行列の積を計算することで、特徴量の抽出やデータの変換を行います。学習の過程で最適化され、モデルの予測精度を決定づける重要な要素です。
重み行列とは
重み行列とは、ニューラルネットワークの各層間における結合の強さをまとめた数値の表（行列）のことです。
詳しく解説
ニューラルネットワークでは、前の層から伝わってきた情報に「どれくらい影響を与えるか」を示す係数である重みを掛け合わせて次の層へ伝達します。多次元の入力データを効率的に処理するために、複数の重みをひとつの重み行列として整理し、線形代数の「行列の積」を利用してまとめて計算します。ディープラーニングの学習過程では、誤差逆伝播法を用いて予測誤差を小さくするように重み行列内の各パラメータが逐次更新されます。重み行列のサイズは、入力層の次元数と出力層の次元数によって決定されます。
具体例・使われ方
例えば、画像認識モデルで100個の入力数値から10個のカテゴリ分類結果を出力する場合、100×10のサイズの重み行列が使われます。入力ベクトルと重み行列を計算することで、画像のパターンや特徴量が抽出され、どの数字や物体であるかを識別できます。
似た用語との違い
バイアスは各ノードの出力に対して一定の値を加算するパラメータであり、結合強さを表す重み行列とは区別されます。また、入力データは処理ごとに変化する可変のデータですが、重み行列はモデルが学習によって獲得して保持するパラメータ群という違いがあります。
注意点
重み行列の初期値設定を誤ると、勾配消失や勾配爆発といった学習の不具合が発生することがあります。また、モデルの過学習を防ぐためには、正則化などの手法を用いて重み行列の値が極端に大きくならないよう適切にコントロールする必要があります。