混合精度演算とは、AIの学習や推論においてFP16（半精度浮動小数点数）とFP32（単精度浮動小数点数）などの異なる数値精度を組み合わせて計算する手法です。計算速度の向上とメモリ使用量の削減を達成しながら、モデルの予測精度低下を最小限に抑えることができます。ディープラーニングの計算を効率化する標準技術です。
混合精度演算とは
混合精度演算を一言でいうと、処理速度の向上とメモリ節約を目的に、精度の異なる数値表現（主に16ビットと32ビット）を計算箇所に応じて使い分ける技術です。
詳しく解説
従来のディープラーニングでは、数値計算に高い精度を持つ32ビット浮動小数点数（FP32）が使われていました。しかし、モデルの大規模化に伴い計算コストとメモリ消費が課題となりました。混合精度演算では、多くの計算を16ビット浮動小数点数（FP16）で行うことでメモリ領域を削減し、GPUでのデータ転送速度および処理速度を向上させます。一方で、パラメータの更新など計算誤差の影響を受けやすい処理にはFP32を保持することで精度低下を防ぎます。数値の極小化による情報損失を回避するため、損失スケーリングと呼ばれる手法を併用するのが一般的です。
具体例・使われ方
大型言語モデルの事前学習において、学習時間の短縮とVRAM節約のために広く利用されています。また、NVIDIAのGPUに搭載されているテンソルコアを活用した学習設定で標準的に有効化されています。
似た用語との違い
単一の精度のみを用いる単精度演算（FP32）や半精度演算（FP16）と異なります。FP32のみでは計算が遅くメモリを大量に消費し、FP16のみでは計算誤差が蓄積してモデルの学習が不安定になります。混合精度演算は両者の利点を組み合わせて、高速化と精度の維持を両立させています。
注意点
すべてのモデルやハードウェアで自動的に性能が向上するわけではありません。対応していない古いGPU環境では効果が得られない場合や、適切な損失スケーリングを行わないと数値が破綻することがあります。