高密度モデル
高密度モデルとは、入力データに対してすべてのパラメータが常に活性化され処理を行うニューラルネットワーク構造のことです。計算効率の面で課題がある一方で、緻密な表現力を持ちます。
ディープラーニングに関するAI用語を364件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は16ページ目です。
高密度モデルとは、入力データに対してすべてのパラメータが常に活性化され処理を行うニューラルネットワーク構造のことです。計算効率の面で課題がある一方で、緻密な表現力を持ちます。
デンス重みとは、ニューラルネットワークにおいて値がゼロではない要素が高密度に存在する重みパラメータのことです。スパース重みの対義語として用いられ、モデルの表現力を高める一方で、メモリや計算コストが増加する特性を持ちます。
フルファインチューニングとは、事前学習済みモデルのすべてのパラメータを更新して再学習を行う手法です。高い適応力を持ちますが、膨大な計算資源とメモリが必要になるという特徴があります。
スパース重みとは、ニューラルネットワークなどの機械学習モデルにおいて、値がゼロであるパラメータの割合が高い状態、またはその重み自体のことです。モデルの軽量化や推論処理の高速化、メモリ消費量の削減を目的として、不要な結合を削減するプルーニングなどの技術によって構築されます。