IIDとは「独立かつ同一の確率分布に従う」という意味を持つ統計学および機械学習の基本概念です。データが互いに影響を与えず、すべて同じルールから発生していると仮定することで、多くのアルゴリズムの数学的な前提条件として利用されます。
IIDとは
一言でいうと、IIDとは「それぞれのデータが互いに無関係であり、かつ同じ傾向や法則を持っている状態」のことです。
詳しく解説
IIDは「Independent and Identically Distributed」の頭文字をとった言葉です。日本語では「独立同分布」と訳されます。「独立」とは、あるデータが得られた事実が、別のデータの結果に影響を与えないことを意味します。「同一の分布に従う」とは、すべてのデータが同じ確率的背景や法則に基づいて生成されていることを示します。機械学習において、訓練データとテストデータがIIDであるという仮定は、モデルが未知のデータに対して正しく汎化性能を発揮するための重要な土台となっています。
具体例・使われ方
例えば、何度もコインを投げて表が出るかを記録する試行はIIDの典型例です。1回目に表が出たかどうかは2回目以降の結果に影響を与えず（独立）、毎回表が出る確率が同じ（同一分布）であるためです。また、画像認識AIにおいて、ランダムに収集された多様な猫の画像データセットも、個々の画像が独立して撮影されており、猫という共通の分布からサンプリングされているとみなしてIIDの仮定を置くことがあります。
似た用語との違い
時系列データや自然言語処理で扱うテキストデータなどは、IIDの仮定が成り立ちにくい非IIDデータの代表例です。時系列データでは「過去の株価が未来の株価に影響を与える」ため独立ではなく、テキストでも「直前の単語によって次の単語の出現確率が変わる」ため同一分布とは言えません。これらを扱う際は、RNNやTransformerなどの特殊なモデルが必要になります。
注意点
現実世界のデータの多くは、実は厳密にはIIDを満たしていません。季節変動やユーザーの好みの変化などにより、データの分布が時間とともに変わる「データドリフト」が発生するためです。そのため、IIDという前提に頼りすぎると、実際の運用環境においてAIの精度が急激に低下するリスクがある点に注意が必要です。