桁落ち
桁落ちとは、値が非常に近い2つの浮動小数点数の引き算を行った際に、有効桁数が大幅に減少する計算誤差の現象です。AIや数値計算において、非常に小さな変化量を計算する際やニューラルネットワークの勾配計算などで発生すると、精度低下や学習の不安定化を引き起こすため、計算式の工夫などで対処する必要があります。
数値計算に関するAI用語を7件掲載しています。意味や使い方、関連用語を一覧から確認できます。
桁落ちとは、値が非常に近い2つの浮動小数点数の引き算を行った際に、有効桁数が大幅に減少する計算誤差の現象です。AIや数値計算において、非常に小さな変化量を計算する際やニューラルネットワークの勾配計算などで発生すると、精度低下や学習の不安定化を引き起こすため、計算式の工夫などで対処する必要があります。
丸め誤差とは、数値計算において無限小数や指定された桁数を超える数値を、有限のビット数で表現する際に生じる計算誤差のことです。コンピュータ内部の浮動小数点数表現では扱える精度に限界があるため、最下位桁の丸め処理によって真の値との間にズレが生じます。AIのディープラーニングなど大量の計算を行う場面で重要な影響を及ぼします。
LU分解とは、ある正方行列を下三角行列(L)と上三角行列(U)の積に分解する線形代数の手法です。連立一次方程式の求解や逆行列の計算を効率化でき、機械学習やAIアルゴリズムの最適化処理を支える基盤技術として広く活用されています。
打切り誤差とは、無限に続く計算や数式展開を有限回の処理で途中で終了することにより生じる真値との誤差です。AIや数値解析では、テイラー展開の近似や勾配降下法などの反復計算を途中で停止する際に発生します。計算リソースと精度のバランスを取るために不可欠な概念であり、桁数制限に起因する丸め誤差とは区別されます。
倍精度浮動小数点数は、コンピュータ上で実数を表現するためのデータ形式の一つです。64ビットのメモリ領域を使い、極めて広い数値範囲と高い精度を持つため、高精度な科学技術計算やAIモデルの学習において重要な役割を果たします。
境界条件とは、微分方程式などで解を特定するために領域の端で満たすべき条件のことです。AI分野では物理情報ニューラルネットワークにおいて物理法則を制約として学習させるために重要な役割を果たします。
コレスキー分解は、対称正定値行列を下三角行列とその転置行列の積に分解する手法です。行列式や逆行列の計算、連立一次方程式の解法を高速化するために用いられ、機械学習においてはガウス過程回帰やカルマンフィルタ、多変量正規分布からのサンプリングなどで重要な役割を果たします。