長・短期記憶（LSTM）は、時系列データや言語などの連続データを処理するために開発されたディープラーニングの構造です。従来の再帰型ニューラルネットワーク（RNN）が抱えていた長期間の情報を保持できない課題や勾配消失問題を、セル状態と3つのゲート機構によって解決し、長文のテキスト解析や音声認識などで広く活用されています。
長・短期記憶（LSTM）とは
長・短期記憶（LSTM）とは、時間の経過に伴うデータ（時系列データや文章など）の文脈を長い期間にわたって記憶・保持できるように改良された再帰型ニューラルネットワーク（RNN）の一種です。
詳しく解説
長・短期記憶（LSTM）は、従来の再帰型ニューラルネットワーク（RNN）で発生していた「時間が経つにつれて過去の情報が薄れてしまう」という勾配消失問題を克服するために提案されました。LSTMの内部には「セル状態」と呼ばれる記憶の伝送路と、「入力ゲート」「忘却ゲート」「出力ゲート」という3つのゲート機構が存在します。忘却ゲートで不要な情報を捨て、入力ゲートで新しい情報を付け加え、出力ゲートで必要な情報を取り出すことで、重要な情報を長期間保持しながら処理を進めることができます。これにより、長い文章や長期的な時系列パターンの学習が可能になりました。
具体例・使われ方
自然言語処理における機械翻訳や文章補完、音声認識システムでの音声データのテキスト化、さらには株価や気温などの時系列予測において幅広く利用されています。例えば、長文のストーリーを読み込んで次の展開を予測するようなタスクで威力を発揮します。
似た用語との違い
従来の再帰型ニューラルネットワーク（RNN）は短期的な記憶しか保持できず長文の理解が困難でしたが、LSTMはゲート構造を備えることで長期の記憶保持を可能にしました。また、近年主流となったTransformerはLSTMと異なりデータを並列処理できるため、より高速に大規模な学習が行えますが、LSTMは逐次処理を行うため計算効率やメモリ消費の面で特徴が異なります。
注意点
LSTMはRNNの勾配消失問題を大幅に緩和しますが、完全に解決できるわけではなく、極端に長いシーケンスでは記憶の保持が困難になる場合があります。また、データを順番に処理する構造上、並列処理が難しく、学習に時間がかかるという限界があります。そのため、現在の大規模言語モデルでは並列処理が得意なTransformerへ移行するケースが増えています。