指示微調整（インストラクション・チューニング）とは、事前学習済みの言語モデルに対し、自然言語による指示とそれに対する応答のペアを用いて追加の学習を行う手法です。これにより、モデルはユーザーの意図を正確に理解し、様々な新しいタスクへ柔軟に適応できるようになります。
指示微調整とは
一言でいうと「AIに人間の指示の理解方法を教え込む追加学習のプロセス」です。
詳しく解説
大規模言語モデルは、膨大なテキストから次の単語を予測する事前学習を経て基本的な言葉の仕組みを獲得します。しかし、この段階では「質問に答える」「要約する」といった具体的な指示に従うことが苦手です。そこで、多種多様な指示と望ましい出力をセットにしたデータを用いてファインチューニングを行うことで、AIがプロンプトの意図を正しく解釈し、指示通りのタスクを実行できるようになります。現代の対話型AIにおいて必須の技術となっています。
具体例・使われ方
例えば、「以下の文章を3行で要約してください」という指示と要約文のペアや、「次のメールの返信を作成してください」という指示と返信文のペアを大量に用意し、モデルに学習させます。これにより、学習時に見たことがない新しい指示に対しても、汎用的に対応できるようになります。
似た用語との違い
通常の事前学習が「言葉の確率分布を学ぶもの」であるのに対し、指示微調整は「人間とのインタラクションの作法や指示遂行能力を特化させるもの」という違いがあります。また、人間フィードバックによる強化学習（RLHF）の前の段階として実施されることが一般的です。
注意点
学習データに含まれるバイアスや偏見をそのまま強化してしまうリスクがあります。また、特定の指示形式に過剰適合すると、本来持っている汎用的な文章生成能力が低下する「カタストロフィック・フォゲッティング」に注意する必要があります。