AI分野における遅延（レイテンシ）とは、入力データを与えてからモデルが出力を返すまでに要する時間のことを指します。リアルタイム処理や音声認識、自動運転などのシステムにおいて、システム全体の快適性や安全性を左右する極めて重要な性能指標となります。
遅延とは
一言でいうと遅延とは、AIに処理を依頼してから結果が返ってくるまでの「タイムラグ（待ち時間）」のことです。
詳しく解説
AIの処理における遅延は、モデルのサイズや複雑さ、利用するハードウェアの性能、さらにはデータの通信経路など、さまざまな要因によって発生します。特に大規模言語モデル（LLM）やディープラーニングモデルは計算量が膨大であるため、推論時に高い遅延が生じやすいという特徴があります。ユーザー体験の向上やリアルタイム性が求められるシステムでは、この遅延を最小限に抑えることが、システムの価値を維持する上で非常に重要となります。
具体例・使われ方
音声アシスタントに話しかけてから返答が返ってくるまでの時間や、自動運転車が前方の障害物をカメラで認識してブレーキを作動させるまでの時間などが、遅延に該当します。
似た用語との違い
スループットという概念と混同されがちです。遅延が「1つの処理が終わるまでの時間」を指すのに対し、スループットは「単位時間あたりに処理できるデータ量」を指します。
注意点
遅延を短縮しようとしてモデルを過度に軽量化すると、精度や出力の品質が低下するトレードオフの関係に注意する必要があります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月14日 13:51