訓練済みのAIモデルに対して、新しいデータを入力することで予測や分類、テキスト生成などの判定結果を出力するプロセスのことです。開発フェーズである「学習」によって構築されたパターンやパラメータ（重み）を用いて、実世界の実データから知見や予測結果を導き出す役割を担っており、AIが実用的に機能する根幹の処理にあたります。
推論とは
「推論」とは、事前に「学習」を終えたAIモデル（訓練済みモデル）に新たなデータを入力し、予測、分類、物体検出、テキスト生成などの結果を導き出すプロセスです。人間でいう「勉強した知識を使って、試験問題を解く」フェーズに相当します。
詳しく解説
機械学習やディープラーニングは、大きく「学習」と「推論」の2つのフェーズに分かれます。学習フェーズでは、大量のデータからパターンを抽出してパラメータ（重み）を最適化し、AIモデルを構築します。こうして完成した「訓練済みモデル」を用いて、実際の運用環境で未知のデータに対する判断を行うのが推論です。推論は、応答速度（レイテンシ）や処理効率が重視されます。そのため、エッジデバイスやスマートフォンなどの限られたリソースでも高速に動作するよう、モデルのパラメータを削減して軽量化する「モデル量子化」や「蒸留」といった技術が活用されることもあります。
具体例・使われ方
日常の様々なAIアプリケーションで推論が行われています。例えば、スマートフォンのカメラアプリが被写体の顔を検知する処理、スマートスピーカーが音声を認識してテキストに変換する処理、翻訳アプリが日本語を英語に変換する処理などが該当します。また、ChatGPTなどの大規模言語モデル（LLM）が、ユーザーの入力（プロンプト）に対して回答文を生成する処理も、推論の一種です。
似た用語との違い
「学習」と「推論」は混同されやすいですが、明確に異なります。「学習」は、大量のデータを使ってAIモデルの精度を高めるためにパラメータを更新し、賢いモデルを作り出すプロセスです。これに対して「推論」は、完成したモデルを固定したまま（パラメータを更新せずに）使い、新しいデータに対して瞬時に答えを導き出すプロセスです。学習には莫大な計算資源と時間が必要ですが、推論は比較的少ないリソースで瞬時に実行されます。
注意点
推論の精度は、学習に使用したデータの質や量に大きく依存します。学習データに偏りがある場合、推論時に間違った判断や偏見のある結果（ハルシネーションやバイアス）が出力されるリスクがあります。また、推論を実行する環境のハードウェア制約（メモリ容量や処理速度）によっては、期待する速度で動作しない場合があるため、運用環境に合わせたモデルの最適化が必要です。