長短期記憶（LSTM）は、時系列データや言語データなどの連続した情報を扱うディープラーニングモデルの一種です。従来の再帰型ニューラルネットワークが抱えていた勾配消失問題を克服し、長期間の過去の情報を保持しながら学習できるように設計されています。自然言語処理や音声認識、時系列予測などの分野で幅広く活用されています。
長短期記憶とは
長短期記憶とは、時系列データにおいて長期間の情報を保持・伝播できるように改良された再帰型ニューラルネットワークの一種です。
詳しく解説
従来の再帰型ニューラルネットワークは、時間が経つにつれて過去の情報が薄れる勾配消失問題が発生しやすく、長い文脈の理解が困難でした。長短期記憶はこの問題を解決するため、セル状態と呼ばれる記憶の伝送路と、情報の流れを制御するゲートメカニズムを導入しました。具体的には、どの情報を捨てるかを決める忘却ゲート、新しい情報を付け加える入力ゲート、どの情報を出力するかを制御する出力ゲートを備えており、重要な情報を長期間保持することが可能です。
具体例・使われ方
文章全体の文脈を理解した上での機械翻訳や、過去の長期間の株価・気象データの推移に基づく時系列予測、音声認識における連続発話の解析などに利用されます。
似た用語との違い
従来の再帰型ニューラルネットワークとの違いは、情報を保持・更新するための複雑な内部構造を持つ点です。また、近年主流となったTransformerとの違いとして、長短期記憶は情報を順番に逐次処理するのに対し、Transformerはデータを並列処理できるため学習速度や広大な文脈処理能力において大きく優れています。
注意点
長短期記憶は長期依存関係の学習に強いものの、計算手順が逐次的なため並列処理が難しく、大規模なデータの学習には時間がかかる傾向があります。また、非常に長い系列データに対しては記憶保持の限界が生じる場合もあります。