デンス重みとは、ニューラルネットワークにおいて値がゼロではない要素が高密度に存在する重みパラメータのことです。スパース重みの対義語として用いられ、モデルの表現力を高める一方で、メモリや計算コストが増加する特性を持ちます。
デンス重みとは
一言でいうと、ニューラルネットワークの中で値が間引かれておらず、大部分が有効な数値として埋まっている結合パラメータのことです。
詳しく解説
ディープラーニングのモデルは多数のニューロンが結合して構成されており、その結合の強さを表すのが重みです。初期の学習や標準的な全結合層、畳み込み層では、ほとんどの重みに意味のある数値が割り当てられています。この状態がデンス（dense: 密な）と呼ばれるものです。すべてのパラメータに対して計算を行うため高い精度を発揮しやすい反面、モデルのファイルサイズが巨大になり、ハードウェアへの負荷が高くなるという背景があります。
具体例・使われ方
一般的な画像認識モデルや大規模言語モデルのベースとなる学習済みパラメータの多くは、デンス重みとして構築されています。例えば、標準的なトランスフォーマーの全結合層やアテンション機構の行列演算では、このデンス重みを用いた積算処理が大量に行われています。
似た用語との違い
スパース重みとの違いが重要です。スパース重みは不要な結合をゼロにしたり削除したりして軽量化を図る手法であるのに対し、デンス重みはすべての結合を保持するため高密度で高精度な処理を得意としますが、リソース効率の面で劣ります。
注意点
デンス重みはそのままで運用するとメモリ消費量や推論時のレイテンシが大きくなるため、エッジデバイスやリソースが限られた環境へのデプロイでは量子化やプルーニングを行ってスパース化するなどの工夫が必要になる点に注意してください。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月26日 22:15