コンテキスト内学習とは、大規模言語モデルがモデルのパラメータを更新することなく、プロンプト内で提供された指示や例示のみを参照して新しいタスクをその場で適応・実行する能力のことです。事前学習で得た知識を活用し、少数の例を示すだけで柔軟にタスクを処理できるため、AIの応用範囲を大幅に広げました。
コンテキスト内学習とは
コンテキスト内学習（In-Context Learning）とは、一言で言えば「モデルのパラメータ（重み）を書き換えることなく、入力文（プロンプト）の中に与えられた指示や例示だけを読み取って、その場で未知のタスクを解決する能力」です。
詳しく解説
従来の機械学習では、新たなタスクにモデルを適応させるためにファインチューニングなどの追加学習（パラメータ更新）が必要でした。しかし、大規模言語モデルのパラダイムでは、モデルの規模が一定以上に拡大することで、入力内に指示や入出力の例を含めるだけで、追加学習なしにタスクを理解・実行できるようになります。この仕組みは、アテンションメカニズムが入力シーケンス内の相互関係を処理することで、文章全体の文脈から動的にパターンを抽出していると考えられています。これにより、個別のタスクごとに再学習させるコストを大幅に削減できます。
具体例・使われ方
例えば、英日翻訳タスクを実行したい場合に、モデルを再学習させるのではなく、プロンプト内に「英語: Apple -> 日本語: リンゴ」「英語: Dog -> 日本語: 犬」といった数個の例（フューショットプロンプト）を提示し、最後に「英語: Cat -> 日本語: 」と入力することで、モデルが文脈を汲み取って「ネコ」と出力する例があげられます。
似た用語との違い
ファインチューニングとの主な違いは、モデルの内部パラメータ（重み）を更新するかどうかです。ファインチューニングは大量のデータを用いてモデルのパラメータを物理的に書き換えて記憶させますが、コンテキスト内学習はパラメータを変更せず、プロンプトとして入力された情報を作業メモリのように一時参照して処理を行います。
注意点
コンテキスト内学習は長文の処理能力を示すコンテキストウィンドウの制限を受けます。また、提示する例示の質や順序に依存して出力精度が変動する現象が存在します。さらに、パラメータ自体が変更されるわけではないため、入力された情報は一時のセッション内でのみ有効であり、永続的な知識としてモデル内部に保存されるわけではありません。