半精度浮動小数点数（FP16）とは、コンピュータで数値を処理する際に16ビット（2バイト）のデータ長を使用するデータ形式です。従来の単精度浮動小数点数（FP32）と比べてメモリ消費量を半分に抑え、計算処理速度を大幅に向上させることができるため、大規模なディープラーニングモデルの学習や推論において標準的に活用されています。
半精度浮動小数点数とは
半精度浮動小数点数とは、16ビットのデータ量で実数を表現する数値フォーマットのことで、AIの計算高速化とメモリ節約を実現する重要なデータ形式です。
詳しく解説
半精度浮動小数点数は、符号に1ビット、指数部に5ビット、仮数部に10ビットを割り当てて数値を表現します。従来の標準的であった32ビットの単精度浮動小数点数と比べて計算時のメモリ帯域や保持領域を50%削減できます。AI分野では、モデルの大規模化に伴いデータ転送速度やメモリ容量がボトルネックとなるケースが増加しました。半精度浮動小数点数を利用することで、GPUなどのアクセラレータ上での並列計算効率が高まり、大規模なディープラーニングのモデル計算を圧倒的に高速化することが可能になります。近年では、精度低下を防ぎつつ高速化を図る混合精度学習の基盤技術としても広く浸透しています。
具体例・使われ方
大型の言語モデルや画像生成AIの推論・学習処理において、半精度浮動小数点数が多用されています。例えば、グラフィックボード（GPU）のメモリ容量が限られた環境であっても、半精度浮動小数点数を採用することで、通常なら載らない大きなAIモデルを読み込んで高速に動作させることができます。
似た用語との違い
32ビットを使用する単精度浮動小数点数（FP32）と比較すると、半精度浮動小数点数は表現できる数値の範囲や精度が狭いものの、計算コストとメモリ消費量を大幅に削減できます。また、同じ16ビット形式であるBF16（Bfloat16）との違いとして、半精度浮動小数点数は仮数部に多くのビットを割り当てて精度を優先しているのに対し、BF16は指数部にビットを多く割り当てて数値の範囲を広げている点が挙げられます。
注意点
半精度浮動小数点数は表現できる極小・極大な数値の幅（ダイナミックレンジ）が狭いため、非常に小さな値がゼロになるアンダーフローや、大きな値が限界を超えるオーバーフローが発生しやすい欠点があります。そのため、勾配の計算で桁落ちが発生して学習が不安定になるリスクがあり、必要に応じてスケーリングを行ったり、重要な計算には単精度浮動小数点数を併用するなどの対策が必要です。