消去コーディングとは、データを複数の断片に分割し、パリティと呼ばれる冗長データを付加して分散保存するデータ保護技術です。ストレージの利用効率を維持しながら、一部のデータ断片が破損・紛失しても元のデータを復元できます。AI学習の巨大なデータセットを扱う分散ストレージやクラウドで幅広く利用されています。
消去コーディングとは
消去コーディングとは、データを断片化し冗長な符号（パリティ）を加えて分散配置することで、高いデータ耐久性とストレージ利用効率を両立するデータ保護・冗長化技術です。
詳しく解説
消去コーディングは、従来のレプリケーション（完全複製）技術に比べてストレージ効率を劇的に向上させる仕組みです。元のデータをN個のデータブロックに分割し、そこから数学的な演算（リード・ソロモン符号など）を用いてM個のパリティブロックを生成します。全体でN+M個のブロックを異なるストレージノードに分散保存することで、最大M個のノード障害やデータ損失が発生しても、残りのN個のブロックから元のデータを正確に復元できます。大規模言語モデルの学習に用いるテラバイトからペタバイト規模のデータセットを保持する分散ストレージやオブジェクトストレージにおいて、費用対効果の高いデータ信頼性確保の要として重要な役割を果たしています。
具体例・使われ方
大規模なAIモデル開発において、ペタバイト級の学習データを保存するクラウドのオブジェクトストレージや分散ファイルシステム（HDFSやCephなど）の冗長化メカニズムとして用いられます。また、AI推論環境におけるログデータの長期アーカイブ保存や、データセンター間での安全なデータ分散バックアップにも活用されます。
似た用語との違い
レプリケーションとの違い：レプリケーションはデータを丸ごと2つ以上複製（例：3重化）するため、元の3倍のストレージ容量が必要ですが、データの復元処理は高速です。一方、消去コーディングはパリティ生成と復元演算を伴うためCPUリソースと処理時間を必要としますが、ストレージ使用効率を大幅に抑えつつ同等以上の高いデータ耐久性を実現します。RAIDとの違い：RAIDは主に単一システム内のドライブ間冗長化を対象としますが、消去コーディングはネットワーク上の分散ストレージ全体に適用可能です。
注意点
消去コーディングはデータ復元時に計算コストが発生するため、極めて高頻度かつ低遅延なランダムアクセスが求められるホットデータ（ワークロード）には向かない場合があります。また、データ断片が失われた際の再構築（リビルド）時には、ネットワーク帯域とCPU負荷が一時的に高くなる点に注意が必要です。