AIにおける短期記憶とは、システムが現在処理しているタスクや、進行中の会話などの直近の情報を一時的に保持・活用する機能のことです。リカレントニューラルネットワーク(RNN)や長・短期記憶(LSTM)の内部状態、大規模言語モデル(LLM)のプロンプト領域(コンテキストウィンドウ)などがこれに該当し、一貫した文脈理解において重要な役割を果たします。
短期記憶とは
AIにおける短期記憶とは、データ処理や対話の実行中に、直近のコンテキスト(文脈)や入力情報を一時的に保持し、次の出力に反映させるシステム上の機能です。人間が作業中に一時的に物事を覚えておく仕組みをAIのアーキテクチャ上で再現したものです。
詳しく解説
AIの分野における短期記憶は、モデルがシーケンスデータ(テキストや時系列データなど)を処理する際に極めて重要です。初期のニューラルネットワークは入力を独立して処理していましたが、リカレントニューラルネットワーク(RNN)の登場により、過去の情報を「隠れ状態」として保持し、時系列データに適用可能になりました。しかし、従来のRNNは時間が経つと情報を失う性質があったため、これを改善するために長・短期記憶(LSTM)と呼ばれるアルゴリズムが開発され、必要な情報を効果的に維持・忘却する制御が可能となりました。近年普及しているトランスフォーマーをベースとした大規模言語モデル(LLM)においては、一度に処理できる入力文字数の制限である「コンテキストウィンドウ」が、擬似的な短期記憶として機能します。これにより、チャットボットはユーザーとの1回の会話セッション内で、直前の対話履歴を記憶しながら自然な応答を生成することができます。
具体例・使われ方
短期記憶の具体的な例として、カスタマーサポートを担う対話型AIが挙げられます。ユーザーが最初に「ログインができません」と入力し、次に「パスワードを忘れました」と送信した際、AIは「ログインできない理由がパスワード忘却である」という直前の文脈を保持したまま回答を生成します。また、翻訳AIが文の冒頭にある主語の性別や単複を覚えておき、文末の動詞の形を正しく調整する際にも、この短期記憶に相当する隠れ状態が利用されています。
似た用語との違い
短期記憶と混同されやすい概念として「長期記憶」があります。長期記憶は、AIモデルの学習プロセスを通じてネットワーク自体に恒久的に定着した知識や、外部のデータベースに保存された情報を指します。短期記憶が「現在進行形の作業スペース」であるのに対し、長期記憶は「過去に学んだ知識ベース」に相当します。短期記憶に保存された情報は通常、そのタスクやセッションが終了するとリセットされて消失しますが、長期記憶は永続的に残ります。
注意点
短期記憶の大きな限界は、保持できる情報量(容量)に物理的な制限がある点です。例えば、長・短期記憶(LSTM)では系列長が長くなると情報が薄れてしまい、大規模言語モデル(LLM)においても「コンテキストウィンドウ」の上限を超えた古い情報は、会話の途中であっても切り捨てられ忘却されてしまいます。また、短期記憶の容量を無理に拡大しようとすると、必要な計算リソースやメモリ消費量が幾何学的に増大し、処理速度の低下を招くという注意点もあります。