外れ値
外れ値とは、他のデータから大きく外れた特異な数値のことです。機械学習モデルの精度低下や誤った分析結果の原因となるため、データ分析や前処理の段階で適切に検出・処理することが極めて重要となります。
前処理のAI用語一覧
19件前処理に関するAI用語を19件掲載しています。意味や使い方、関連用語を一覧から確認できます。
データオーグメンテーション
データオーグメンテーションは、機械学習モデルの訓練用データを人工的に増やす技術です。既存のデータに対して回転、反転、色調調整などの加工を施すことで、過学習を防ぎ、未知のデータに対する認識精度や汎化性能を大きく向上させることができます。
前処理
前処理とは、機械学習モデルの精度を向上させるために、収集した生データをクレンジングや数値化などして扱いやすい状態に整える重要なプロセスです。ノイズの除去や欠損値の補完を行い、データの質を高めることでAIの学習効率を最大化します。
標準化
AIや機械学習において、データの平均を0、分散を1にするなど、異なるスケールの特徴量を揃える前処理手法。モデルの学習効率や精度を向上させるために広く用いられます。
トークナイザー
トークナイザーは、人間が読む自然言語の文章を、大規模言語モデルが処理できる数値や小さな断片に分割・変換するプログラムです。AIシステムにおいてテキストデータを正しく入力データに変換するための重要な第一段階として機能します。
特徴量エンジニアリング
特徴量エンジニアリングとは、機械学習モデルの予測精度を向上させるために、生のデータから適切な入力変数を作成・加工するプロセスです。ドメイン知識を活用してモデルがパターンを学習しやすくします。
ワンホットエンコーディング
ワンホットエンコーディングとは、カテゴリカルデータを機械学習モデルが処理できる数値データに変換するための手法です。該当する要素を1、それ以外を0とするベクトルで表現し、機械学習におけるカテゴリ変数の数値化に広く利用されます。
データ前処理
データ前処理とは、機械学習モデルの精度を高めるために、収集した未加工のデータをクリーニングして扱いやすい形に整える一連の作業です。AIの性能を左右する最も重要なプロセスのひとつであり、欠損値の補完や数値化などが行われます。
フィーチャーエンジニアリング
フィーチャーエンジニアリングとは、機械学習モデルの予測精度を向上させるために、元データからアルゴリズムが学習しやすい特徴量を手動で作成・変換・選択するプロセスです。AIの性能を最大限に引き出すために欠かせない重要な技術基盤となっています。
トークン化
トークン化とは、人間が読む文章をAIが処理しやすいように単語や形態素、あるいは文字の断片などの細かい単位へと分割する自然言語処理の基本的な前処理技術です。大規模言語模型の性能を左右する重要なプロセスとなります。
データ拡張
データ拡張とは、機械学習やディープラーニングの学習用データを人工的に増やす技術です。既存の画像やテキストなどに軽微な変更を加えて多様性を高めることで、過学習を防ぎ、AIモデルの汎用性能を向上させるために広く活用されています。
トークナイズ
トークナイズとは、人間が読む文章をAIが理解できる最小単位であるトークンに分割する処理です。大規模言語モデルや自然言語処理における最初の重要な前処理であり、言語理解の精度や処理効率に大きな影響を与えます。
双線形補間
双線形補間とは、デジタル画像や特徴マップのサイズを変更する際によく使われる補間手法の一つです。周辺の4つの画素値を用いて線形補間を縦と横の2方向に順次行うことで、拡大や縮小した際の滑らかな画素値を算出します。
トークナイザ
トークナイザとは、人間が読むテキストをAIが処理できる数値の列へと変換するプログラムやモジュールです。大規模言語モデルにおいては、文章を単語や文字、あるいはそれらの断片であるトークンに細分化し、AIが計算可能な形式へ変換する役割を担います。
One-Hot表現
One-Hot表現とは、カテゴリカルなデータを機械学習モデルが扱えるよう、該当する要素のみを1とし、それ以外を0とした数値の並びへ変換する手法です。自然言語処理や表データの前処理で広く利用されますが、高次元化の課題もあります。
バイリニア法
バイリニア法は、画像拡大や縮小などのリサイズ処理において周囲の4ピクセルから滑らかな中間色を計算する補間アルゴリズムです。処理速度と画質のバランスが良いのが特徴で、ディープラーニングの画像認識や生成AIの前処理で多用されます。
塩コショウ雑音
塩コショウ雑音とは、画像内のランダムな位置に極端な白や黒のピクセルが混入する現象です。画像処理や機械学習の前処理において、モデルのロバスト性を高めるためのノイズ除去やデータ拡張の評価対象として広く用いられます。
中央値代入法
中央値代入法とは、機械学習のデータ前処理において、欠損値がある場合にそれをその特徴量の中央値で置き換える手法です。外れ値の影響を受けにくいため、平均値代入法と比べて歪んだ分布のデータに対して頑健であるという特徴を持ちます。
画像リサイズ
画像リサイズとは、画像の幅や高さなどの画素（ピクセル）数を変更して拡大または縮小する処理です。機械学習や深層学習（ディープラーニング）では、AIモデルに入力する画像サイズを一定に揃える前処理として極めて重要です。適切なサイズ変更により、計算コストの削減や学習の安定化が実現されます。