インコンテキスト学習とは、大規模言語モデルに事前学習済みの重みを更新させることなく、プロンプト内で提示された指示や例示だけで新しいタスクを理解・実行させる手法です。モデルのパラメータを変更せずに文脈情報のみを利用するため、迅速かつ柔軟なタスク適用が可能であり、生成AIの標準的な対話や応用で広く活用されています。
インコンテキスト学習とは
インコンテキスト学習は、大規模言語モデルに追加の事前学習やパラメータ更新を行わず、入力文（プロンプト）の中に与えられた指示や例示（コンテキスト）を読むだけで新しいタスクを実行させる技術です。
詳しく解説
インコンテキスト学習は、ChatGPTなどの大規模言語モデルにおいて中心的な動作原理となっています。従来の機械学習手法では新しいタスクに適応させるためにモデルのパラメータを直接更新するファインチューニングが必要でした。これに対してインコンテキスト学習では、事前学習で獲得した広範な知識とパターン認識能力を活用し、入力されたプロンプト内のテキスト情報（コンテキスト）からタスクのルールや出力形式をその場で推論します。これにより、モデル全体を再学習させる膨大な計算コストや時間をかけずに、一連の対話の中で即座に多様なタスクへ適応させることが可能となります。
具体例・使われ方
例えば、英日翻訳タスクを行わせたい場合に「リンゴ -> apple」「本 -> book」という入出力の例示をプロンプトに数個含めて提示するフューショット学習が代表的です。モデルは提示された例を解釈してルールを把握し、続く未学習の単語に対しても正しく翻訳を出力します。その他にも、テキストの感情分析や要約フォーマットの指定など、具体的な例をいくつか示すだけで望む形式の出力を得ることができます。
似た用語との違い
ファインチューニングとの主な違いは、モデル内部のパラメータを変更するかどうかです。ファインチューニングは追加データを使ってモデルの重み自体を更新しますが、インコンテキスト学習はプロンプトの記述のみで動作するため、パラメータは一切変更されません。また、プロンプトの工夫全般を指すプロンプトエンジニアリングの枠組みにおいて、例示を与えてモデルの推論精度を高める具象的なアプローチとして位置づけられます。
注意点
インコンテキスト学習はモデルのコンテキストウィンドウ（一度に処理できるトークン数）の制限を受けるため、大量の例示や長文を同時に与えることには限界があります。また、学習によって恒久的に知識が定着するわけではないため、新しいプロンプトを発行するたびに毎回例示を与える必要があります。指示や例示の品質に出力が強く依存するため、曖昧なプロンプトでは不正確な回答を引き起こす点にも注意が必要です。