Apache Hadoopは、大量のデータを複数の汎用コンピュータに分散して保存・処理するためのオープンソースフレームワークです。ビッグデータ解析や機械学習のデータ前処理基盤として広く普及しました。
Apache Hadoopとは
Apache Hadoopは、膨大なデータを複数のサーバーで分散管理し、並列処理によって効率的に分析するための基盤ソフトウェアです。
詳しく解説
Apache Hadoopは、大規模なビッグデータを単一の高性能マシンではなく、多数の安価なサーバー群で分散処理するために開発されました。中心となる構成要素には、分散ファイルシステムであるHDFS（Hadoop Distributed File System）と、大規模データの分散並列処理を行うMapReduce、リソース管理を担うYARNなどがあります。AIや機械学習のモデル開発では、学習に用いるテラバイトからペタバイト級のデータ収集・蓄積・前処理が不可欠であり、Hadoopはその基盤として重要な役割を果たしてきました。
具体例・使われ方
Webサービスの膨大なアクセスログの集計、ECサイトでの購買履歴のバッチ分析、機械学習モデルの訓練データ作成パイプラインなどに活用されています。
似た用語との違い
後継・関連技術であるApache Sparkと比較されることが多くあります。HadoopのMapReduceがディスクへの書き込みを頻繁に行うバッチ処理向きであるのに対し、Apache Sparkは主にインメモリで高速に処理を行うため、反復計算が多い機械学習アルゴリズムに適しています。現在では、ストレージ基盤としてHDFSを利用し、計算エンジンとしてApache Sparkを組み合わせる構成も一般的です。
注意点
Hadoopはバッチ処理に最適化されているため、リアルタイムな応答が求められる低遅延処理や、小規模なデータ処理には適していません。また、クラスタの構築・運用やチューニングには専門知識が必要です。