「フレーム補間」とは、連続する動画フレームの間に新たな中間フレームを自動生成して挿入し、動画の動きを滑らかにする技術です。近年はディープラーニングの発展により、複雑な動きや物体の重なりを高精度に予測・描画できるようになりました。高フレームレート化による滑らかな映像表現や、スローモーション映像の作成などに広く活用されています。
フレーム補間とは
フレーム補間（Frame Interpolation）とは、動画を構成する連続したフレーム（静止画）の間を補う新しいフレームを、AIなどの技術を用いて自動的に生成・挿入する処理のことです。これにより、動画のフレームレート（fps）を向上させ、視覚的により滑らかで自然な映像を作り出すことができます。
詳しく解説
従来のフレーム補間は、前後のフレームから画素の移動方向と移動量を計算する「光学フロー」と呼ばれる技術に基づいて推測されていました。しかし、急激な動きや物体の隠れがある場合、不自然なブレや歪みが生じるという課題がありました。近年では、ディープラーニングや畳み込みニューラルネットワークを活用したAIベースの手法が主流となっています。AIは膨大な動画データを事前に学習しており、物体がどのように変形・移動するかを高度に予測できます。さらに、敵対的生成ネットワーク（GAN）などの応用により、予測された中間フレームの細部をより鮮明に描き出すことが可能となり、破綻の少ない高精度の補間が実現しています。
具体例・使われ方
具体的な利用例としては、毎秒30フレーム（30fps）で撮影された動画を、最新のテレビやモニターに合わせて60fpsや120fpsに変換し、スポーツやアクション映画の動きを滑らかに表現する技術が挙げられます。また、通常のカメラで撮影した標準的な映像から、フレーム間に多数の中間フレームを挿入することで、滑らかなスローモーション映像を作り出すことも可能です。最近では、動画生成AIが作成したコマ数の少ない短いアニメーションを、より自然な動画へ仕上げる際にも利用されています。
似た用語との違い
フレーム補間と混同されやすい概念に「超解像」があります。超解像は、1枚の画像の解像度（縦横の画素数）を高めて画質を鮮明にする技術であるのに対し、フレーム補間は時間軸方向の密度（フレーム数）を増やす技術です。前者は「空間的」な拡張、後者は「時間的」な拡張という違いがあります。ただし、現在の動画処理AIシステムでは、これら両方の処理を組み合わせて高画質な高フレームレート動画を作成することも多くあります。
注意点
フレーム補間の注意点として、AIによる予測が外れた場合に映像の乱れが発生することがあります。例えば、非常に素早いランダムな動きや、激しい画面の切り替え、細かい網目模様などがあるシーンでは、AIが正確な中間画像を予測できず、不自然に引き伸ばされたようなノイズが生じる場合があります。また、リアルタイム処理には高い計算能力が必要となるため、スマートフォンなどの端末では処理遅延やバッテリー消費の増加につながる懸念もあります。