LoRA（Low-Rank Adaptation）とは、大規模言語モデルや画像生成モデルのパラメータを効率的に調整するパラメータ効率的ファインチューニング技術です。モデル全体の重みを固定し、低いランクの行列を追加して学習することで、計算コストやメモリ使用量を大幅に削減しながら特定タスクへ適応させることができます。
LoRA（Low-Rank Adaptation）とは
LoRA（Low-Rank Adaptation）とは、巨大なAIモデルの元の重みを固定したまま、一部の小さな行列のみを学習させて効率的に特定タスクへ適応させる技術です。
詳しく解説
大規模言語モデルや画像生成モデルなどの巨大なAIモデルを特定の目的に合わせて調整する際、従来のフルファインチューニングでは膨大な計算資源と記憶容量が必要でした。LoRAは、パラメータ更新分を分解して低ランク行列として表現することで、学習対象となるパラメータ数を大幅に削減します。これにより、ハードウェアの要求スペックが下がり、効率的なパラメータ効率的ファインチューニングが可能になりました。学習後の追加パラメータは元のモデルと融合することも可能なため、推論時の計算遅延が発生しない点も大きな利点です。
具体例・使われ方
特定企業の社内文書に特化した応答を行う大規模言語モデルの構築や、特定のイラストスタイルやキャラクターを再現するための画像生成モデルの追加学習などで広く活用されています。
似た用語との違い
モデルすべての重みを再学習させるフルファインチューニングと比較して、LoRAは保存ファイルサイズを大幅に抑えつつ手軽にファインチューニングを実行できます。なお、LoRAはパラメータ効率的ファインチューニングと呼ばれる技術群の代表例です。
注意点
LoRAは学習コストを大幅に削減できますが、モデル全体を書き換えるわけではないため、元のモデルが持っていない全く新しい知識をゼロから学習させる用途には向かない場合があります。また、適切な設定を行わないと十分な精度が得られないことにも注意が必要です。