リレーショナルデータベース
リレーショナルデータベース（RDB）は、データを行と列からなる表（テーブル）形式で管理し、複数のテーブル間を「関係（リレーション）」によって紐付けるシステムです。データの不整合を防ぐ高い一貫性と、SQLによる柔軟なデータ操作が特徴で、企業の基幹システムやAIモデルの学習用データの管理に広く用いられています。
データエンジニアリングのAI用語一覧
9件データエンジニアリングに関するAI用語を9件掲載しています。意味や使い方、関連用語を一覧から確認できます。
グラフデータベース
グラフデータベースとは、データ同士のつながり（関係性）を「ノード」と「エッジ」で表現して管理するデータベースです。複雑に絡み合うデータ構造の探索に優れ、AI領域ではナレッジグラフの構築や推薦システムの基盤として広く活用されています。
列指向フォーマット
列指向フォーマットは、データを「列（カラム）」単位で連続して格納するデータ保存形式です。同じデータ型の値が並ぶため圧縮効率が高く、特定の列のみをスキャンして集計するビッグデータ解析や機械学習の前処理を劇的に高速化します。データウェアハウスやApache Parquetなどで広く活用されている、分析特化型の技術です。
クラウドストレージ
クラウドストレージとは、インターネット経由でデータを保存・管理できるサービスです。AI分野では、膨大な学習データやモデルチェックポイントの保管、共同開発時のデータ共有基盤として不可欠なインフラとなっています。
ストリーム処理
ストリーム処理とは、絶え間なく生成されるデータを蓄積せず、発生とほぼ同時に順次処理・分析する技術です。AI分野では、IoTセンサーのデータや取引ログなどを低遅延で処理し、リアルタイムな推論や異常検知を行う基盤として活用されます。定期的にまとめて処理するバッチ処理と対比され、即時性が求められる環境で重要な役割を果たします。
データマネジメント
データマネジメントとは、データを企業の貴重な資産として安全かつ効率的に活用するために、データの収集、保存、加工、保護、品質維持などのライフサイクル全体を体系的に管理・統制する取り組みです。AIや機械学習の導入において、高品質なデータを継続的に供給し、モデルの予測精度を高めるための重要な基盤となります。
バッチデータ
バッチデータとは、一定の期間や量ごとにまとめて一括で処理されるデータ群のことです。リアルタイムに1件ずつ処理を行うストリームデータとは対照的であり、機械学習のモデル訓練や大規模なデータ分析において、計算効率の向上やハードウェアリソースの有効活用を目的に広く用いられています。ディープラーニングなどの学習においても重要な概念です。
データ収集
データ収集とは、AIや機械学習モデルの開発・訓練に必要なテキスト、画像、音声、数値などのデータを、外部ソースやシステムから集めるプロセスです。高品質なモデルを構築するためには、収集するデータの量と質がモデルの精度を左右するため、AI開発の初期段階において極めて重要で不可欠なプロセスとされています。
シャーディング
シャーディングとは、巨大なデータセットやニューラルネットワークのモデルを複数の断片（シャード）に分割し、複数のハードウェアに分散して保持・処理する技術です。AI分野では、単一のメモリに収まらない大規模言語モデルの学習や推論を高速化するために不可欠な手法であり、効率的な分散学習を支える基盤技術となっています。