オールリデュース
オールリデュース（All-Reduce）は、分散学習において複数の計算ノードが持つデータを集計・処理し、その結果をすべてのノードに等しく再配布する通信アルゴリズムです。ディープラーニングの大規模モデルを高速に並列トレーニングする際、各ノードが計算した「勾配」を同期・集約するために不可欠な基盤技術となっています。
深層学習のAI用語一覧
138件深層学習に関するAI用語を138件掲載しています。意味や使い方、関連用語を一覧から確認できます。
ステップ
機械学習のモデル訓練において、データの一部（ミニバッチ）を用いてパラメータを1回更新する最小の処理単位、あるいは画像生成AIなどの拡散モデルにおける段階的なノイズ除去プロセスの1回分のステップを指します。文脈により学習時のイテレーション（反復）や、生成時のサンプリング段階を意味し、AIの性能や生成品質を制御する重要な概念です。
シグモイド関数
シグモイド関数とは、任意の入力値を0から1の範囲の実数に変換するS字型の数学的関数です。機械学習や深層学習において二値分類の予測確率の算出やニューラルネットワークの活性化関数として広く活用されてきました。
ノード
AIやネットワークにおけるノードとは、データや処理の単位を表す結節点のことを指します。ニューラルネットワークでは人工ニューロンとして機能し、グラフ構造ではデータや概念の主体を示す重要な基本要素となります。
スケジュールサンプリング
スケジュールサンプリングとは、ニューラルネットワークの訓練時において、正解データとモデル自身の予測のどちらを入力として使うかを確率的に切り替える手法です。訓練と推論の乖離を解消し、モデルの性能や頑健性を向上させます。
デコーダ
デコーダは、符号化されたデータや入力されたコンテキストを基に、テキストや画像などの分かりやすい情報へ変換・生成するAIの重要な構成要素です。大規模言語モデルなどの生成AIにおける中核技術として幅広く活用されています。
ニューロン
ニューロンとは、脳の神経細胞を模した人工知能の基本単位です。複数の入力信号を受け取り、一定の条件を満たした場合にのみ次の信号を出力する仕組みを持ち、人工ニューラルネットワークの基礎として多くのAI技術に応用されています。
セマンティックセグメンテーション
セマンティックセグメンテーションは、画像内のすべてのピクセルに対して意味的なクラスを分類するコンピュータビジョンの技術です。物体検出とは異なり、物体の輪郭をピクセル単位で正確に特定できるため、自動運転や医療画像解析などで広く活用されています。
マルチモーダルAI
マルチモーダルAIとは、テキスト、画像、音声、動画などの異なる種類のデータを組み合わせて同時に処理し、総合的な理解や出力を行う人工知能システムのことです。人間が視覚や聴覚、言語などを統合して物事を認識するように、より高度で文脈に沿った判断を可能にします。
拡散モデル
拡散モデルは、データにノイズを徐々に加えて破壊する過程と、そのノイズを除去して元のデータを復元する過程を深層学習で学ぶ生成AIモデルです。高画質な画像生成などで広く活用され、高い創造性と安定性を実現しています。
オーバーフィッティング
オーバーフィッティングとは、AIや機械学習モデルが訓練データに対して過剰に適合し、未知のデータに対する予測性能が低下する現象のことです。過学習とも呼ばれ、モデルが訓練データのノイズや細部まで記憶しすぎてしまうことが原因で発生します。
マックスプーリング
マックスプーリングは、畳み込みニューラルネットワーク（CNN）において、画像などの特徴マップの空間サイズを縮小するためのダウンサンプリング手法です。領域内の最大値を選択することで、重要な特徴を保持しつつ計算量を削減します。
量子化
量子化とは、AIモデルの重みや活性化関数の数値をより低いビット数のデータ型に変換し、モデルのデータサイズ削減と推論処理の高速化を実現する技術です。LLMの効率的な運用やエッジデバイスへの搭載に欠かせない手法となっています。
交差エントロピー
交差エントロピーとは、機械学習や深層学習の分類問題で広く使われる損失関数のひとつです。正解ラベルの確率分布と、モデルが予測した確率分布との違いを数値化し、AIの予測精度を高めるための誤差計算において重要な役割を果たします。
受容野
受容野とは、畳み込みニューラルネットワークにおいて、特定のニューロンが入力データのどの範囲の情報に影響を受けるかを表す領域のことです。層を深く重ねることで受容野は広がり、局所的な特徴から画像全体の大域的な特徴へと理解が深まります。モデルの認識性能や設計に直結する重要な概念です。
スケジュール付きサンプリング
スケジュール付きサンプリングは、AIの系列生成モデルにおいて、訓練時と推論時のデータの食い違いを解消するための学習手法です。正解データとモデル自身の予測を切り替える確率を訓練の進行度に応じて徐々に変化させます。
並列学習
並列学習とは、複数の計算機やプロセッサを用いて人工知能モデルの学習処理を同時に実行し、計算時間を大幅に短縮する技術です。大量のデータや巨大なパラメータを効率的に処理するために不可欠な基盤技術となっています。
深層学習フレームワーク
深層学習フレームワークとは、複雑なニューラルネットワークの構築、訓練、評価を効率的に行うためのソフトウェアライブラリやツールの総称です。行列計算や自動微分などの高度な数学的処理がライブラリ化されており、開発者はゼロからコードを書くことなく、高度なAIモデルを迅速に実装できます。
大規模言語モデル（LLM）
大規模言語モデル（LLM）とは、膨大なテキストデータを学習し、人間のような自然な文章を生成・理解できるAIモデルです。Transformerと呼ばれる深層学習アーキテクチャをベースにしており、対話型AIや文章要約、翻訳、プログラミング支援など幅広い分野で活用されています。現代の生成AIにおける中核技術です。
逆伝播
逆伝播とは、人工知能の深層学習において出力の誤りを出発点とし、誤差をネットワークの逆向きに伝達させることで、パラメータを自動的に修正し学習精度を向上させる基本的なアルゴリズムです。
敵対的攻撃
敵対的攻撃とは、AIや機械学習モデル（特に深層学習）に対して、人間には判別できないほどの微小なノイズや細工を加えた入力（敵対的サンプル）を与えることで、モデルに意図的な誤認識や誤分類を起こさせるサイバー攻撃の手法です。AIの脆弱性を突くセキュリティ上の重大な脅威として、現在盛んに研究されています。
アテンション機構
アテンション機構とは、ニューラルネットワークが入力データ全体の中から特に重要な部分に焦点を当てて処理を行う仕組みです。機械翻訳や文章生成の精度を飛躍的に向上させたTransformerの根幹技術であり、現在の生成AIの基礎となっています。
ルックアヘッドマスク
ルックアヘッドマスクとは、Transformerなどの自己注意機構において、未来の単語情報をモデルが参照することを防ぐための手法です。主に言語生成タスクの学習時に用いられ、正解データ（未来の情報）を先読みしてズルをすることを防ぎ、正確な予測能力を養います。
バンド幅
バンド幅とは、単位時間あたりに転送できるデータ量の最大値を指します。AIや機械学習の分野においては、ネットワークの通信速度だけでなく、GPUとメモリ間などのデータ転送能力を表す極めて重要な指標として扱われ、大規模モデルの学習や推論の処理性能を左右します。