スループットとは、単位時間あたりに処理できるデータ量やリクエスト数のことです。AIや機械学習の分野では、推論処理において1秒間に生成できるトークン数や処理可能なリクエスト数を示します。システムの処理能力やコストパフォーマンスを評価する重要な指標であり、GPUなどのハードウェア選定やWebサービスの運用設計で重視されます。
スループットとは
スループットは、AIシステムが一定時間内にどれだけのデータやタスクを処理できるかを表す処理能力の指標です。
詳しく解説
AIの推論や学習において、スループットはシステム全体の効率性を左右する極めて重要な要素です。特に大規模言語モデルなどを運用する際、同時に多くのユーザーからのリクエストを捌くためには高いスループットが求められます。スループットを向上させるためには、GPUのメモリ帯域幅の最適化、バッチ処理の導入、モデルの軽量化や量子化などの技術が用いられます。スループットが高まることで、同じインフラ環境でより多くの処理を実行できるようになり、運用コストの削減につながります。
具体例・使われ方
例えば、AIチャットサービスにおいて、1秒間に全体で何トークンを出力できたかという指標がスループットとして計測されます。また、画像認識モデルにおいて、1秒間に何枚の画像を推論処理できたかもスループットの代表的な例です。
似た用語との違い
スループットとよく混同される概念にレイテンシがあります。レイテンシは処理が始まってから完了するまでの時間（遅延）を指すのに対し、スループットは単位時間あたりの処理数を指します。例えば、1回のリクエストの応答速度（レイテンシ）が速くても、同時に多数のリクエストを処理できる能力（スループット）が低い場合もあり、両者はトレードオフの関係になることがあります。
注意点
スループットを高めるためにバッチサイズを大きくすると、一度に大量のデータを処理できる一方で、個々のデータに対するレイテンシが伸びる可能性があります。そのため、リアルタイム性が求められる用途と、大量のデータをまとめて処理する用途では、適切なバランスを考慮してシステムを設計する必要があります。