データレイク
データレイクとは、生のデータをそのままの形式で一元的に格納する巨大な貯蔵庫のことです。構造化データだけでなく、画像や音声などの非構造化データも未加工のまま保存できるため、ビッグデータの蓄積や機械学習の素材として欠かせないデータ基盤となっています。必要なときに必要な形でデータを取り出して活用できる柔軟性が特徴です。
ビッグデータのAI用語一覧
12件ビッグデータに関するAI用語を12件掲載しています。意味や使い方、関連用語を一覧から確認できます。
Spark SQL
Spark SQLは、Apache Spark上で構造化データを処理するためのモジュールです。SQLクエリによるデータ操作や、DataFrame APIを用いた効率的なビッグデータ処理を実現し、機械学習パイプラインとも容易に統合できます。
リアルタイムデータ
リアルタイムデータとは、情報が生成された直後にほぼ遅延なく収集・処理されるデータのことです。AIモデルの迅速な意思決定や、時系列データを用いたストリーミング処理において不可欠な要素となっています。
MapReduce
MapReduceは、膨大なデータを複数のコンピューターで効率的に分散処理するためのプログラミングモデルおよび手法です。処理をデータを整理するMapフェーズと、結果をまとめるReduceフェーズの2つに分けることで、ペタバイト級のビッグデータを高速かつ安全に解析できます。大量データを扱う現代のデータ基盤の根幹を築いた重要な技術です。
HDFS
HDFS（Hadoop Distributed File System）とは、大量のデータを複数のコンピュータに分散して保存・管理するためのオープンソースの分散ストレージシステムです。ビッグデータ処理やAIの学習データ基盤として利用され、一般的なハードウェアを組み合わせることで安価に拡張性と信頼性の高いデータストレージを実現します。
Apache Hive
Apache Hiveは、Hadoop上で動作するオープンソースのデータウェアハウスシステムです。SQLに似たクエリ言語を使用することで、大規模な分散ストレージ上のデータを容易に集計、分析することができます。Javaで複雑なMapReduceの処理を書くことなく、ビッグデータを直感的に扱えるのが特徴です。
都市OS
都市OSとは、スマートシティの実現に向けて多様なデータを統合・管理し、行政や民間サービスを効率化するための基盤となるソフトウェアやプラットフォームのことです。AIやIoTから得られる情報を集約し、交通や防災などの課題解決に役立てられます。
Apache Hadoop
Apache Hadoopは、大量のデータを複数の汎用コンピュータに分散して保存・処理するためのオープンソースフレームワークです。ビッグデータ解析や機械学習のデータ前処理基盤として広く普及しました。
分散ストレージ
分散ストレージは、ネットワークで接続された複数の物理ハードウェアにデータを分割・格納し、単一の論理的なストレージとして管理するシステムです。膨大なデータを扱うディープラーニングなどのAI学習や、クラウドサービスにおいて、高い拡張性、耐障害性、パフォーマンスを実現するための不可欠な基盤技術として広く活用されています。
Apache Arrow
Apache Arrowは、インメモリでの高速なデータ処理を可能にするオープンソースの標準仕様です。言語間で共通の列指向フォーマットを採用することで、シリアライズ処理の無駄を省くゼロコピーデータ共有を実現し、機械学習や大規模データ分析のパイプラインを大幅に高速化します。
リアルタイム分析
リアルタイム分析とは、データが発生した瞬間に即座に収集・処理・分析を行い、ほぼ遅延なく結果を出力する技術です。インターネット取引やIoTの普及に伴い、絶え間なく生成されるビッグデータを即座に意思決定に活かす手法として重要視されています。バッチ処理とは異なり、異常検知や即時推奨など、瞬時の対応が必要な領域で威力を発揮します。
Hadoop
Hadoop（Apache Hadoop）とは、膨大なデータを複数のコンピュータに分散して効率的に保存・処理するためのオープンソースの分散処理フレームワークです。安価なマシンを組み合わせたクラスタ構成で動作し、テラバイトやペタバイト規模のビッグデータを高速かつ安全に処理できる基盤として、AIの学習データ管理や大規模ログ分析に広く活用されています。