教師あり微調整とは、大量のデータで事前学習したAIモデルに対し、特定のタスクに適した入力と正しい出力（ラベル）のペアを用いて追加の学習を行い、精度の向上や対話性能の調整を行う手法です。大規模言語モデルの開発において、指示に従って適切な回答を生成できるようにするために不可欠なプロセスです。
教師あり微調整とは
教師あり微調整とは、すでに広範な知識を習得したAIモデルに対して、入力と正解のペアデータを与えて特定の目的や対話形式に適合させる再学習手法です。
詳しく解説
基盤となるモデルは事前学習により膨大な文章データを読み込み、言語の文法や一般的な知識を獲得しています。しかし、そのままでは指示に対する適切な応答や特定の形式での出力が難しい場合があります。教師あり微調整では、人間が作成した質問と模範回答のセットなどの高品質なデータセットを用い、モデルのパラメータを更新します。これにより、ユーザーの意図を汲み取った指示追従性や安全性が大幅に向上します。転移学習の一種であり、ゼロからモデルを構築するよりも大幅に少ない計算リソースとデータ量で目的のタスクに特化させられる点が重要です。
具体例・使われ方
大規模言語モデルを対話型AIアシスタントへ進化させる際に用いられます。例えば「文章の要約」「プログラミングコードの生成」「カスタマーサポートの自動応答」など、具体的な指示とそれに対する望ましい回答例のペアを学習させることで、望むフォーマットやトーンで出力できるよう調整されます。
似た用語との違い
事前学習がラベルなしデータから一般的な言語パターンを学ぶのに対し、教師あり微調整はラベル付きデータを用いて目的動作を学ばせます。また、報酬モデルを用いて最適化を行う人間からのフィードバックによる機械学習（RLHF）の前段階として実施されることが多く、直接的な正解データを用いる点で強化学習アプローチと異なります。さらに、基盤モデルのパラメータを変更せずに学習を行う教師あり学習の一般的な適用とも区別されます。
注意点
高品質な正解データの準備にコストがかかる点や、調整データに偏りがあるとモデルの出力が偏向するリスクがあります。また、特定のタスクに過剰に適合させると、事前学習で得た汎用的な知識や柔軟性を失う過学習が発生することもあります。