ウェイト（重み）とは、ニューラルネットワークにおいて入力データの重要度を調整するために、各ノード間の接続に割り当てられるパラメータです。AIモデルの学習過程でこれらの値が最適化されることで、モデルは正確な予測や分類を行えるようになります。モデルの記憶や知識そのものと言える重要な要素です。
ウェイトとは
ウェイトとは、ニューラルネットワークにおいて、あるノードから次のノードへ伝達される信号の「強さ」や「重要度」を表す数値（パラメータ）のことです。
詳しく解説
ニューラルネットワークは複数の層で構成されており、各層のノード同士がリンクで結ばれています。ウェイトは、この接続ごとに個別に設定されている数値です。入力データにこのウェイトを掛け合わせ、バイアスと呼ばれる数値を加算したものが、次のノードへの入力値となります。モデルの学習とは、大量のデータを用いて誤差を最小化するように、バックプロパゲーションなどのアルゴリズムを介してウェイトの値を少しずつ更新し、最適な組み合わせを見つけ出すプロセスのことです。ウェイトが最適化された状態こそが、AIモデルが知識を獲得した状態に相当します。
具体例・使われ方
例えば、画像認識AIが猫を判定する際、画像内の特定の特徴に対応する入力に対して、大きなウェイトが割り当てられます。これにより、猫らしい特徴が検出されたときに出力層で猫である確率が高まるよう制御されます。また、大規模言語モデルのパラメータの総数という言葉は、主にこのウェイトとバイアスの総数のことを指しています。
似た用語との違い
ウェイトと混同されやすい概念にバイアスがあります。ウェイトは入力信号の重要度の割合を調整するのに対し、バイアスは入力に関わらず出力の基準値を底上げまたは底下げする役割を持ちます。また、これらウェイトやバイアスは学習によって自動更新されるパラメータであるのに対し、学習の進み方を制御する学習率などは人間が事前に設定するハイパーパラメータと呼ばれ、明確に区別されます。
注意点
ウェイトの値が大きすぎると、学習データに過剰に適合してしまう過学習の原因になります。また、初期のウェイト設定が不適切だと、学習が全く進まない勾配消失などの問題が発生することがあります。さらに、ディープラーニングモデルにおける数億から数千億個ものウェイトは、人間がその一つ一つの数値の意味を直感的に理解することが困難であるため、AIのブラックボックス問題の要因ともなっています。