非凸関数とは、グラフの形状が直線ではなく、局所的な凹凸が多数存在する関数のことです。AIや機械学習において、ニューラルネットワークの学習をはじめとする多くの最適化問題で現れ、大域的最適解ではなく局所最適解に陥るリスクがあるため高度なアルゴリズムが必要となります。
非凸関数とは
一言でいうと、非凸関数とは「どこを向いてもすり鉢の底が一つとは限らず、いくつもの山や谷がある複雑な形状をした関数」のことです。AIの学習において、モデルのパラメータ調整を行う際に頻繁に対象となります。
詳しく解説
非凸関数は、数学的には関数上の任意の2点を結んだ線分が、常にグラフの下側（または上側）に収まらない性質を持つ関数を指します。AIや深層学習の分野では、ニューラルネットワークの損失関数が典型的な非凸関数になります。パラメータ数が膨大であり、活性化関数などの影響により複雑な曲面を形成するため、モデルの性能を最大化する最適な重みを見つけ出すことは非常に困難な作業となります。
具体例・使われ方
ディープラーニングにおける画像認識モデルや大規模言語モデルの学習プロセスが代表的な例です。何百万、何十億ものパラメータを持つ損失関数を最小化する際、勾配降下法などの最適化アルゴリズムを用いて非凸関数の曲面を探索し、誤差を減らしていくことでAIの精度を高めます。
似た用語との違い
凸関数と比較されます。凸関数はお椀を上向きにしたような単一の谷を持つ形状であり、どこから探索を始めても必ず唯一の大域的最適解に到達できます。一方、非凸関数は複数の谷が存在するため、スタート地点やアルゴリズムの工夫次第で異なる最適解に留まってしまう違いがあります。
注意点
非凸関数の最大の問題点は、得られた最適解が本当に最も良い解（大域的最適解）であるか保証できない点です。多くの場合は途中の谷（局所最適解）や勾配がほぼゼロになる鞍点で探索が停滞してしまうため、モメンタム付きSGDやアダムなどの最適化アルゴリズムを適切に選定・調整する注意が必要です。