信頼区間とは、統計学において標本データから母集団の真の値を推定する際、その値が含まれると考えられる範囲を確率（信頼水準）とともに示す指標です。例えば「95%信頼区間」は、同様の調査を繰り返したときに全体の95%で真のパラメータがこの区間に含まれることを意味し、AIモデルの性能評価やデータの不確実性評価に用いられます。
信頼区間とは
信頼区間（Confidence Interval）とは、限られたデータ（標本）から全体（母集団）の統計的特徴を推測する際、真の値が存在するであろう範囲を、特定の確率（信頼水準）に基づいて算出した区間のことです。
詳しく解説
統計的推測において、1点のみで値を推定する「点推定」に対して、幅を持たせて推定する手法を「区間推定」と呼びます。信頼区間はこの区間推定の代表例です。一般的には「95%信頼区間」や「99%信頼区間」といった信頼水準が用いられます。AIや機械学習の文脈では、モデルの予測精度（正解率や誤差など）がどの程度のばらつきを持つかを評価する際や、テストデータが限られている場合にその性能評価の信頼性を定量化するために広く活用されています。信頼区間が狭いほど、推定の精度（確実性）が高いことを示します。
具体例・使われ方
AIの画像認識モデルの評価を例に挙げます。テストデータでの正解率が85%だった場合、信頼区間を計算することで「95%の確率で真の正解率は82%から88%の間にある（95%信頼区間：[0.82, 0.88]）」のように表現できます。これにより、単に「正解率85%」とするよりも、評価データの少なさによるブレを考慮した客観的な性能判定が可能になります。また、医療AIでの診断精度評価や、A/Bテストにおける売上改善効果の検証など、不確実性を伴うデータ分析の多くの場面で利用されます。
似た用語との違い
「信頼区間」と混同されやすい概念に「予測区間」があります。信頼区間は、母集団の平均値などの「統計的パラメータ（母数）」が収まる範囲を推定するものであるのに対し、予測区間は「次に出現する個々のデータ値（個別値）」が収まる範囲を推定するものです。個々のデータにはばらつきがあるため、一般に予測区間は信頼区間よりも大幅に広くなります。
注意点
「95%信頼区間」という言葉は、「真の値がその区間に含まれる確率が95%である」と誤解されがちですが、これは統計学的に正確ではありません。真の値は固定された定数であり、動くのは計算された「区間」の方です。正確には「同様のサンプリングと区間推定を100回繰り返した場合、そのうちの95回は区間の中に真の値が含まれる」という意味です。また、この推定はサンプルが母集団を代表するランダムサンプリングで得られているという仮定に基づいているため、データにバイアス（偏り）がある場合は信頼区間の信頼性自体が損なわれます。