残差接続
残差接続とは、ニューラルネットワークの層を飛び越えて信号を伝えるスキップ接続の一種です。勾配消失問題を緩和し、数百層にも及ぶ超深層学習を安定して成功させるために不可欠な技術として、ResNetなどで広く採用されています。
アーキテクチャのAI用語一覧
6件アーキテクチャに関するAI用語を6件掲載しています。意味や使い方、関連用語を一覧から確認できます。
長期記憶
AIの長期記憶とは、大規模言語モデルやニューラルネットワークにおいて、過去の対話内容や膨大な情報を長期間にわたって保持し、必要に応じて呼び出す仕組みです。標準のコンテキスト長を超える情報を扱えるようにする技術として注目されています。
外部記憶
AIにおける外部記憶とは、モデル自体のパラメータに依存せず、外部のデータベースやメモリ領域に情報を保持して必要に応じて検索・参照する仕組みです。コンテキスト長を超える長大な情報の処理や、情報の動的な更新を可能にする重要な技術として活用されています。
結果整合性
結果整合性とは、分散システムやAIのデータ処理において、更新直後はデータが一致しないものの、一定時間が経過すれば最終的にすべてのノードで整合性が保たれる特性を指します。リアルタイムの厳密な同期よりもシステムの可用性や処理性能を優先したい場合に広く採用されています。
モノリシック
モノリシックとは、システム全体が単一の巨大なプログラムやコンポーネントとして構築される設計構造を指します。AI開発やクラウドの分野では、モデルや機能が分断されず一体化しているシステムを意味し、全体の統制や初期構築が容易である反面、一部の変更がシステム全体に影響を与えやすい特徴を持ちます。
Mixture of Experts
Mixture of Expertsは、巨大なニューラルネットワークを複数の専門家モデルに分割し、入力データに応じて最適な専門家を選択して処理を行う仕組みです。計算量を抑えつつモデルの性能を大幅に向上させることができるため、大規模言語モデルなどで広く活用されています。