事後学習とは、基盤モデルとなるAIの事前学習が完了した後に、特定の用途への適応や安全性・対話性能の向上を目的として行われる追加の学習プロセスのことです。指示チューニングや人間からのフィードバックによる強化学習（RLHF）などが含まれ、ユーザーの意図に沿った安全で有用な応答を出力できるようにモデルを調整します。
事後学習とは
事後学習とは、膨大なデータで基礎的な知識を習得させたAIモデル（基盤モデル）に対して、人間の指示に従う能力や安全性を高めるために行う追加のトレーニングプロセスです。
詳しく解説
基盤モデルの構築では、最初にWeb上の大量のテキストデータを学習させる事前学習が行われます。しかし、事前学習直後のモデルは文の続きを予測する能力しか持たず、質問に対する適切な回答や安全な対話が難しい傾向にあります。そこで行われるのが事後学習です。事後学習の段階では、対話形式のデータセットを用いた指示チューニングや、AIの出力に対する人間の評価をもとにモデルの挙動を調整する人間からのフィードバックによる強化学習（RLHF）などが実施されます。これにより、有害な発言の抑制、指示遵守能力の向上、対話の自然さなどが獲得され、実用的なAIサービスとして提供可能な品質へ高められます。
具体例・使われ方
例えば、対話型AIアシスタントの開発において、ユーザーからの指示に対して丁寧かつ正確に回答できるように調整する場面で活用されます。「文章を要約してください」という指示に対して、単に続きの文章を生成するのではなく、指定された形式で要約を出力させる調整や、不適切な質問に対して回答を拒否するルールを学習させる際に利用されています。
似た用語との違い
事前学習がモデルに広範な知識や言語理解能力を授ける「義務教育」にあたるのに対し、事後学習は学んだ知識を人間の目的に合わせて正しく使えるように仕付ける「専門教育やマナー研修」に相当します。また、一般的な微調整が特定業務向けの専門化を指すのに対し、事後学習はモデル全体の安全性や汎用的な対話能力を整える包括的な工程を指すことが多いです。
注意点
事後学習を行うことでモデルの安全性を高められますが、あらゆる不適切発言や脱獄攻撃（ハッキング）を完璧に防げるわけではありません。また、事後学習を過度に行うと、事前学習で得た知識や本来の柔軟な推論能力が低下する現象が発生する可能性があるため、適切なバランス調整が必要です。