リカレントニューラルネットワーク
リカレントニューラルネットワーク(RNN)は、内部にループ構造を持ち、時系列データや自然言語などの可変長の連続データを処理できる深層学習モデルです。過去の情報を記憶しながら順次処理を行えるため、音声認識や機械翻訳などに広く活用されています。
ディープラーニングに関するAI用語を364件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は6ページ目です。
リカレントニューラルネットワーク(RNN)は、内部にループ構造を持ち、時系列データや自然言語などの可変長の連続データを処理できる深層学習モデルです。過去の情報を記憶しながら順次処理を行えるため、音声認識や機械翻訳などに広く活用されています。
アテンションメカニズムは、ディープラーニングにおいて入力データ全体のなかから重要な部分に選択的かつ動的に注目し、計算資源を割り当てる技術です。機械翻訳や文章生成の精度を飛躍的に向上させました。
アベレージプーリングは、畳み込みニューラルネットワークにおいて特徴マップの局所的な領域の平均値を計算し、データサイズを縮小するプーリング処理手法です。画像の解像度を下げて計算量を削減しつつ、全体的な特徴を保持する役割を持ちます。
ダイイングReLU問題とは、ディープラーニングの活性化関数であるReLUにおいて、ニューロンの出力が常にゼロになり更新されなくなる現象です。学習中に大きな勾配が流れると重みが負の領域に固定され、ニューロンが実質的に死亡してモデルの表現力が低下します。これを防ぐためにLeaky ReLUなどの派生関数が用いられます。
勾配消失問題とは、ディープラーニングにおいて層を深くした際、ネットワークの逆誤差伝播法で計算される勾配が入力層に近づくにつれて小さくなり、学習が進まなくなってしまう現象です。活性化関数としてシグモイド関数などを使用すると発生しやすく、パラメータの更新が停滞することでモデルの精度向上を妨げる大きな課題となります。
3D CNN(3次元畳み込みニューラルネットワーク)は、画像などの2次元データに時間軸や奥行きを加えた3次元データを処理するためのディープラーニング手法です。動画データの動作認識や医療用CTスキャンの立体画像解析など、空間と時間の情報を同時に捉える必要がある分野で広く活用されています。
モデル容量とは、AIモデルが学習データ内のパターンや複雑な関係性をどれだけ正確に記憶・表現できるかを示す指標です。一般的にパラメータ数やネットワークの規模が大きいほどモデル容量は高くなりますが、過学習のリスクも増大するため適切な調整が求められます。
グラフニューラルネットワーク(GNN)は、関係性や結びつきを表現するグラフ構造データを直接処理できるディープラーニングの枠組みです。分子構造の解析やSNSの友人関係の分析など、複雑なネットワークデータの学習において重要な役割を果たしています。
低精度演算とは、AIのモデル学習や推論において、数値表現のビット数を減らして計算を効率化する技術です。計算速度の向上とメモリ消費量の削減を実現し、大規模言語モデルの開発やエッジデバイスでの実行に不可欠な手法となっています。
自動微分は、コンピュータプログラムで定義された関数の微分(導関数)を、効率的かつ正確に計算する手法です。ニューラルネットワークの学習(バックプロパゲーション)において、各パラメータの勾配を計算するために不可欠な技術です。近似誤差のある数値微分や、式が複雑化しやすい記号微分などの欠点を克服し、ディープラーニングの発展を支えています。
アドバーサリアル訓練とは、AIモデルの学習時に意図的に作られた攪乱データを入力することで、敵対的攻撃に対する耐性や汎化性能を高める機械学習の手法です。ノイズに強いモデルを構築するために広く利用されています。
プーリング処理とは、畳み込みニューラルネットワークにおいて特徴マップの解像度を縮小し、計算量を削減するとともに位置のわずかな変化に対する頑健性を高めるための重要な操作です。情報の重要な特徴を保持しつつデータを圧縮します。
DALL-E 3は、OpenAIが開発した最先端の画像生成AIです。ChatGPTと統合されている点が最大の特徴で、ユーザーが入力した自然で曖昧なプロンプトから詳細な指示文を自動生成し、指示に忠実で高精度な画像を生成します。従来のモデルに比べて、複雑なテキストの描写や細部の描き込み性能が大幅に向上しています。
自己教師あり学習とは、人間の手による正解ラベルを付与せずに、データ自身から教師信号を作り出して効率的な特徴表現を学ぶ機械学習のパラダイムです。大規模な事前学習モデルの基盤技術として、近年の生成AIの発展に大きく貢献しています。
AIモデルのトレーニングに必要な計算資源や時間、費用などを指す「計算コスト」と、人間が新しいAI技術を習得・運用するために必要な時間や労力を指す「認知的学習コスト」の2つの側面を持つ概念。本用語は、モデル開発時のインフラ投資規模を測る指標であると同時に、実務への技術導入障壁を表す指標でもあります。
Tensorコアは、NVIDIAのGPUに搭載されているディープラーニングおよび行列演算処理に特化した専用演算ユニットです。積和演算を高速かつ効率的に実行できるよう設計されており、混在精度演算を活用することで、従来のCUDAコアと比較してAIモデルの学習や推論の処理速度を飛躍的に向上させます。
外観検査とは、製品の表面や形状におけるキズや汚れ、異物の混入などを目視や専用の装置で確認する工程です。近年ではAIやディープラーニングを活用した自動化が進んでおり、従来のルールベースの手法では難しかった複雑な判定を高精度かつ高速に行えるようになっています。
Tensor Coreは、NVIDIAのGPUに搭載されているディープラーニング向けの高性能な演算ユニットです。行列積演算を効率的に処理することで、ニューラルネットワークの学習や推論の速度を大幅に向上させます。
サドルポイントとは、ある方向では極小値であり別の方向では極大値となる、馬の鞍のような形状の点のことです。ディープラーニングなどの機械学習における損失関数の最適化において、勾配がゼロになるため学習が停滞する原因として注目されます。
分散型学習とは、大規模な機械学習モデルの訓練を複数の計算資源に分割して効率的に実行する手法です。データやモデルを分割し、複数のGPUやサーバーで並列処理を行うことで、膨大なデータセットや巨大なパラメータを持つディープラーニングモデルの学習時間を大幅に短縮します。
敵対的サンプルとは、ディープラーニングモデルを誤認させる目的で、人間には気付きにくい極小のノイズを加えた入力データのことです。画像認識において、パンダの画像に特殊なノイズを混ぜることで、AIに「テナガザル」と高確率で誤判定させる攻撃などが代表例です。AIのセキュリティや信頼性を評価する上で重要な概念です。
LSTMは、時系列データや自然言語の処理に優れたリカレントニューラルネットワーク(RNN)の拡張アーキテクチャです。従来のRNNで問題となる長期依存性の学習困難を、記憶セルのゲート機構によって克服し、過去の文脈を長く保持できます。
リアルタイム音声変換とは、入力された人間の声をほとんど遅延なく別の声質や特徴へと変換する音声処理技術です。ディープラーニングを活用することで、発話の抑揚やニュアンスを維持したまま自然な声へ即座に変換します。配信やゲーム、発話支援など幅広い分野で活用されていますが、悪用防止などの倫理的注意も求められます。
畳み込み処理とは、画像などのデータに対してフィルター(カーネル)をスライドさせながら局所的な特徴を抽出する数学的な操作です。ディープラーニングにおける畳み込みニューラルネットワーク(CNN)の核心技術として、画像認識や音声処理などで広く活用されています。