MapReduceは、膨大なデータを複数のコンピューターで効率的に分散処理するためのプログラミングモデルおよび手法です。処理をデータを整理するMapフェーズと、結果をまとめるReduceフェーズの2つに分けることで、ペタバイト級のビッグデータを高速かつ安全に解析できます。大量データを扱う現代のデータ基盤の根幹を築いた重要な技術です。
MapReduceとは
MapReduceを一言でいうと、大規模なデータを分割して複数の計算機で並行して処理し、その結果を集約するための分散処理フレームワークおよびモデルです。
詳しく解説
MapReduceは、大規模データの並列処理モデルです。全体の処理は主に「Mapフェーズ」と「Reduceフェーズ」の2段階で構成されます。まずMapフェーズでは、入力データを小さく分割して複数のサーバーに割り振り、データの検索や抽出、キーと値のペアへの変換を行います。次に、中間データの整理を経て、Reduceフェーズで同一キーを持つデータを集約・計算し、最終的な出力結果を得ます。この仕組みにより、特別な並列処理の知識がなくても、大規模なクラスタ上で安全かつ効率的にビッグデータを処理できるようになりました。分散処理のオープンソース実装であるHadoopのコア技術として広く普及し、データ分析基盤の発展に大きく貢献しました。
具体例・使われ方
例えば、世界中のウェブページに含まれる単語の出現頻度をカウントする場合に利用されます。Mapフェーズで各文書内の単語を分解して分散出力し、Reduceフェーズで同じ単語のカウントを合計して全文書での合計回数を算出します。また、アクセスログの集計や、大規模データの変換処理などでも活用されています。
似た用語との違い
同じく分散処理で利用されるSparkとの違いとして、処理方式が挙げられます。MapReduceは各フェーズのデータをストレージに書き出すため、障害耐性が高い一方でディスクI/Oが多く発生します。これに対し、Sparkはデータをメモリ上で保持して連続処理を行うため、繰り返し計算などでより高速に動作します。MapReduceは古典的なバッチ処理に適しており、Sparkはインメモリ処理による高速性が求められる処理に適しています。
注意点
MapReduceはバッチ処理に特化しているため、リアルタイムなデータ分析や低遅延が求められるインタラクティブな処理には不向きです。また、ディスクへの読み書きが多く発生するため、繰り返し計算を多用する深層学習や複雑なグラフ解析では処理速度が低下しやすいという限界があります。現代ではより高速な処理エンジンへの移行が進んでいる点に注意が必要です。