データレイク
データレイクとは、生のデータをそのままの形式で一元的に格納する巨大な貯蔵庫のことです。構造化データだけでなく、画像や音声などの非構造化データも未加工のまま保存できるため、ビッグデータの蓄積や機械学習の素材として欠かせないデータ基盤となっています。必要なときに必要な形でデータを取り出して活用できる柔軟性が特徴です。
データ基盤のAI用語一覧
22件データ基盤に関するAI用語を22件掲載しています。意味や使い方、関連用語を一覧から確認できます。
データウェアハウス
データウェアハウス（DWH）とは、企業内の多種多様なシステムから収集した大量の業務データを統合・整理し、分析や意思決定に活用するためのデータ基盤です。時系列でデータを蓄積し、ビジネスインテリジェンス（BI）ツールや機械学習モデルを用いた高度なデータ分析をサポートします。
データエンジニアリング
データエンジニアリングは、大量のデータを収集、蓄積、加工、整理し、AIモデルの構築やビジネス分析に活用しやすい状態に整える技術分野です。データの信頼性や品質を担保するためのデータパイプラインの構築や、大規模データ基盤の設計・運用が主な役割であり、データサイエンスや機械学習の成果を最大化するために不可欠な基盤技術です。
データマート
データマートとは、組織内の特定の部門や目的に合わせて必要なデータだけを抽出・整理した専用のデータベースです。データウェアハウスやデータレイクからデータを切り出して構築され、特定の分析業務やBIツールでの可視化を高速化します。データのサイロ化を防ぐ適切な管理が必要ですが、迅速な意思決定を支援する重要なデータ基盤です。
ETL
ETLとは、多様なデータソースからデータを抽出し、分析やAIの学習に適した形へ変換した上で、データウェアハウスなどの保存先へロードする一連のプロセスです。機械学習モデルの精度向上に不可欠な高品質なデータ基盤を構築するために広く活用されています。
HDFS
HDFS（Hadoop Distributed File System）とは、大量のデータを複数のコンピュータに分散して保存・管理するためのオープンソースの分散ストレージシステムです。ビッグデータ処理やAIの学習データ基盤として利用され、一般的なハードウェアを組み合わせることで安価に拡張性と信頼性の高いデータストレージを実現します。
行指向ストレージ
行指向ストレージとは、データをレコード（行）単位で連続してディスクに保存するデータ管理方式です。1件ごとのデータの追加、更新、参照処理を高速に行える特徴があり、AI分野では推論時の個別データ取得や特徴量ストアのオンライン参照基盤などで活用されています。
主キー制約
主キー制約とは、リレーショナルデータベースのテーブルにおいて各行を一意に識別するためのルールです。対象列に重複する値や空の値（NULL）が入力されるのを防ぎ、データ整合性を保証します。AI学習データの作成やデータ分析の現場で、重複のない正確なデータを管理・処理するために必須となる基本概念です。
Apache Hive
Apache Hiveは、Hadoop上で動作するオープンソースのデータウェアハウスシステムです。SQLに似たクエリ言語を使用することで、大規模な分散ストレージ上のデータを容易に集計、分析することができます。Javaで複雑なMapReduceの処理を書くことなく、ビッグデータを直感的に扱えるのが特徴です。
Apache Hadoop
Apache Hadoopは、大量のデータを複数の汎用コンピュータに分散して保存・処理するためのオープンソースフレームワークです。ビッグデータ解析や機械学習のデータ前処理基盤として広く普及しました。
Apache Parquet
Apache Parquetは、大規模データの処理や分析に最適化されたオープンソースの列指向ストレージフォーマットです。データを列ごとにまとめて保存することで高度な圧縮と高速なクエリ実行を実現します。Apache Sparkなどの分散処理フレームワークや機械学習パイプラインで標準的に利用されています。
NVMe
NVMe（Non-Volatile Memory Express）は、高速なフラッシュメモリの性能を最大限に引き出すために設計されたストレージインターフェース規格です。従来の規格に比べて圧倒的な高速データ転送と低遅延を実現し、AI開発における大規模データの読み書きボトルネックを解消する重要な技術となっています。
消去コーディング
消去コーディングとは、データを複数の断片に分割し、パリティと呼ばれる冗長データを付加して分散保存するデータ保護技術です。ストレージの利用効率を維持しながら、一部のデータ断片が破損・紛失しても元のデータを復元できます。AI学習の巨大なデータセットを扱う分散ストレージやクラウドで幅広く利用されています。
パリティシンボル
パリティシンボルとは、データの誤り検出や欠損復元のために元のデータから生成される冗長な情報単位です。大規模なAIモデルの分散学習や分散ストレージにおいて、通信障害やノード障害が発生した際でも正確なデータ復元を可能にし、システムの高い信頼性を支える基礎技術として活用されています。
オープンデータ
オープンデータとは、誰もが自由にアクセスし、複製、加工、再配布ができるように公開されたデータのことです。インターネット上で無償で公開されることが多く、人工知能や機械学習の研究・開発において、モデルの学習に必要な高品質なデータセットとして極めて重要な役割を果たしています。
行指向フォーマット
行指向フォーマットは、データを1行単位で連続して記録するデータ構造形式です。機械学習やAI開発では、ログデータのリアルタイム書き込みやWeb APIを介した構造化データのやり取りによく利用されます。データの追加や個別のレコード参照に優れていますが、特定の列に絞った大規模な集計処理には不向きな側面があります。
リアルデータ
リアルデータとは、現実世界で発生した人間の活動や自然現象、社会システム、センサー機器などから直接計測・収集された実際データの総称です。AIや機械学習モデルの開発において、高精度な予測や判断を行うための極めて価値の高い情報源として位置づけられます。一方で、個人情報保護の観点や、表記の揺れ、データの偏りなどの課題への対策も必要となります。
ストリームデータ
ストリームデータとは、連続的かつリアルタイムに発生・送信されるデータの流れのことです。IoTデバイスのセンサー情報やログデータ、金融の取引履歴などが該当します。AIや機械学習の分野では、ストリームデータを即座に処理・分析することで、異常検知や予測モデルのリアルタイム更新などに活用されています。
RAID
RAID（レイド）とは、複数のハードディスクやSSDを組み合わせて1つの仮想的なドライブとして扱うストレージ技術です。データの処理速度向上やデータの保護（冗長化）を目的としており、大量のデータセットを高速に読み書きする必要があるAIの学習環境や、大規模なデータを保管するサーバーにおいて不可欠な技術となっています。
特徴量ストア
特徴量ストアは、機械学習モデルの訓練や推論で利用する特徴量を一元管理し、チーム間で再利用や共有を可能にするためのデータ管理基盤です。データのサイロ化を防ぎ、モデル開発の効率向上や訓練時と推論時のデータ不整合を防ぐ役割を持ちます。
Hadoop
Hadoop（Apache Hadoop）とは、膨大なデータを複数のコンピュータに分散して効率的に保存・処理するためのオープンソースの分散処理フレームワークです。安価なマシンを組み合わせたクラスタ構成で動作し、テラバイトやペタバイト規模のビッグデータを高速かつ安全に処理できる基盤として、AIの学習データ管理や大規模ログ分析に広く活用されています。
CDP
CDP（カスタマー・データ・プラットフォーム）とは、企業が保有する顧客に関する様々なデータを収集・統合し、一人ひとりのプロファイルを構築するためのデータ基盤システムです。AIを活用した分析やパーソナライズ施策の土台として重要な役割を果たします。