カーネルトリックとは、低次元のデータを高次元空間へ直接写像することなく、内積計算の工夫によって線形分離が困難な問題を効率的に解く機械学習の手法です。計算量を抑えつつモデルの表現力を高められるため、サポートベクターマシンなどで広く活用されています。
カーネルトリックとは
一言でいうと、データを高次元な空間に変換したのと同等の効果を、計算量を爆発させずに効率よく得るための数学的なテクニックです。
詳しく解説
機械学習において、入力データがそのままでは直線や平面で分類できない（線形分離不可能な）ケースは多々あります。これを解決するため、データをより次元の高い空間へ写像して分離しやすくするアプローチが存在します。しかし、単純に高次元へ変換すると次元の呪いによって計算量が膨大になります。ここでカーネルトリックを用いると、実際の高次元座標への変換を行わず、元データのまま「高次元空間での内積」を直接計算できるため、計算コストを大幅に抑えつつ非線形なパターン学習が可能になります。
具体例・使われ方
代表的な利用例としてサポートベクターマシン（SVM）を用いた画像認識や文字認識、バイオインフォマティクスにおけるタンパク質の分類などが挙げられます。また、主成分分析（PCA）を非線形データに対応させたカーネル主成分分析（Kernel PCA）や、ガウスプロセス回帰などでも応用されています。
似た用語との違い
通常の線形モデル（線形SVMや線形回帰など）が入力データをそのまま扱うのに対し、カーネルトリックは非線形な境界を描ける点が異なります。また、ディープラーニングが多層のニューラルネットワークで特徴量を自動学習するのに対し、カーネルトリックはあらかじめ定義したカーネル関数を用いて特徴空間を拡張する点が対照的です。
注意点
万能な手法ではなく、データ数が非常に多い場合には計算量が大きくなりメモリ消費が増加するというデメリットがあります。また、対象とする問題に最適なカーネル関数（RBFカーネルや多項式カーネルなど）やハイパーパラメータを手動で選定する必要があり、適切でない場合は過学習や精度低下を招く点に注意が必要です。