情報利得
情報利得とは、決定木などの機械学習アルゴリズムにおいて、データ分割によってどれだけ不確実性が減少したかを示す指標です。特徴量選定や分類精度の向上に広く用いられます。
情報理論のAI用語一覧
9件情報理論に関するAI用語を9件掲載しています。意味や使い方、関連用語を一覧から確認できます。
古典エラー訂正
古典エラー訂正とは、デジタルデータや従来のコンピュータが扱うビットの誤りを検出し、元に戻す技術です。ノイズに強い通信やデータ保存に不可欠であり、将来の量子誤り訂正の基礎としても重要な役割を担っています。
カルバック・ライブラー情報量
カルバック・ライブラー情報量とは、2つの確率分布がどれほど異なるかを示す指標です。機械学習では真の分布とモデルの予測分布の乖離を測るために広く使われており、交差エントロピーや変分推論などの基盤となる重要な概念です。
相互情報量
相互情報量とは、2つの確率変数が持つ共有情報の大きさを測る情報理論の指標です。一方の変数を知ることで、もう一方の変数についてどれだけ不確実性が減少するかを数値化します。機械学習における特徴量選択やモデルの評価など、変数間の非線形な関係を捉えるために広く活用されています。
フィッシャー情報量
フィッシャー情報量とは、確率分布に含まれるパラメータがデータからどれだけの情報を得られるかを示す統計学的な指標です。AIや機械学習の分野では、最尤推推定の精度限界を示すクラメール・ラオの不等式や、確率分布間の距離を測る情報幾何学において重要な役割を果たします。
情報量
情報量（自己情報量）とは、ある出来事が起きた際、それがどれほど予測しにくかったか（驚き度合い）を数学的に表した指標です。めったに起こらない珍しい出来事ほど情報量は大きく、常に起こるような当たり前の出来事の情報量はゼロに近づきます。AIや機械学習の分野では、モデルの予測評価や損失関数の設計に深く関わる基礎概念です。
誤り訂正符号
誤り訂正符号とは、データ通信や記憶媒体への保存時に発生したデータの破損や誤りを、送信側があらかじめ追加した冗長データを用いて受信側で自動的に検出・訂正する技術です。AI分野では、大容量モデルを扱うハードウェアの信頼性確保や、量子コンピュータにおける量子誤り訂正などに不可欠な役割を果たしています。
クルバック・ライブラー情報量
クルバック・ライブラー情報量とは、2つの確率分布の間にどれほどの違いがあるかを測定するための指標です。機械学習や深層学習において、モデルが予測した確率分布と実際の正解データが持つ確率分布の差を評価する際によく利用されます。
K-Lダイバージェンス
K-Lダイバージェンス（Kullback-Leibler Divergence）は、2つの確率分布がどれほど異なっているかを測るための指標です。機械学習や深層学習において、真の確率分布とモデルが予測した確率分布の差を評価する損失関数や最適化の基準として広く活用されています。