推論速度とは、学習済みのAIモデルが入力データを受け取ってから予測や生成などの処理結果を出力するまでにかかる速さのことです。主に遅延時間（レイテンシ）や単位時間あたりの処理量（スループット）で評価され、リアルタイム性が求められる対話型AIや自動運転、エッジデバイスでの実用性を左右する重要な指標となります。
推論速度とは
推論速度とは、学習を終えたAIモデルが未知の入力データに対して予測、分類、テキスト生成などの計算処理を行い、結果を返すまでの速さを表す指標です。
詳しく解説
AIの開発サイクルは「学習」と「推論」に分かれます。推論速度は後者の実運用段階におけるパフォーマンスを指します。大規模言語モデルなどの普及に伴い、モデルの巨大化による計算負荷が増大したため、実用化において推論速度の向上が極めて重要視されるようになりました。推論速度を改善する手法としては、モデルのパラメータ精度を下げて計算を軽量化する「量子化」や、大規模なモデルの知識を小さなモデルへ継承させる「蒸留」、GPUなどの計算リソースの最適化が広く用いられます。
具体例・使われ方
例えば、対話型AIがユーザーの入力に対して1秒間に生成できる文字数・トークン数や、自動運転システムがカメラ映像から歩行者を検知するまでの応答時間（ミリ秒単位）などが推論速度の具体例です。スマートフォン端末上でリアルタイムに顔認識や画像加工を行う際にも、高速な推論が求められます。
似た用語との違い
推論速度と混同されやすい概念に「学習時間」があります。学習時間はモデルが膨大なデータからパターンを獲得するまでにかかる時間を指し、通常は事前にまとめて行われます。一方、推論速度は完成したモデルをユーザーが実際に利用する際の応答性能を指します。また、単一リクエストの応答時間を表す「レイテンシ」と、単位時間あたりに処理できる総リクエスト数を表す「スループット」も、推論速度を測る異なる側面として区別されます。
注意点
推論速度を高めるために量子化などのモデル圧縮技術を適用すると、予測精度がわずかに低下するトレードオフが生じる場合があります。また、推論速度はハードウェアの性能、同時アクセス数、ネットワーク環境にも大きく依存するため、単一のベンチマーク結果だけでなく実際の運用環境を想定した評価が必要です。