メル・スペクトログラムは、音声信号などの音響データを時間、周波数、強度の3次元で表現したスペクトログラムに、人間の聴覚特性を反映したメル尺度を適用して周波数軸を変換したデータ表現です。人間の耳が低音域の変化に敏感で高音域には鈍感である特性を模擬しているため、音声認識や音声合成などのAIモデルにおける特徴量として広く利用されています。
メル・スペクトログラムとは
メル・スペクトログラムとは、人間の耳の聞こえ方に合わせて周波数軸を「メル尺度」と呼ばれる対数的な目盛りに変換した、音の強弱と周波数の時間変化を可視化したデータ表現のことです。AIが音声を処理する際の標準的なインプット情報として多用されます。
詳しく解説
通常の音声データである波形データは、時間の経過に伴う空気の振動を表していますが、これをそのままAIモデルに入力しても、複雑な特徴を捉えることは困難です。そこで、音声信号に短時間フーリエ変換を施し、時間ごとの周波数成分に分解した「スペクトログラム」を作成します。しかし、人間の聴覚は周波数を線形では知覚しておらず、低音域の変化には敏感ですが、高音域の変化には鈍感です。この人間の聴覚特性に合わせた尺度をメル尺度と呼びます。メル・スペクトログラムは、スペクトログラムの周波数軸に対してメルフィルターバンクと呼ばれるフィルターを通すことで、人間の耳に近い感覚で音の情報を圧縮・再構成したものです。これにより、音声データの特徴を効率的に捉えることが可能となり、ディープラーニングモデルの学習効率と精度が大幅に向上しました。
具体例・使われ方
メル・スペクトログラムは音声AI分野で広く活用されています。代表例として「音声認識」があり、スマートスピーカーなどに入力された音声波形をメル・スペクトログラムに変換し、ディープラーニングでテキストに書き起こす際に利用されます。また「音声合成」では、テキストからメル・スペクトログラムを経由して自然な話し声を生成します。さらに、環境音分析や音楽分類においても、音の画像を分類するAIモデルの入力データとして活用されています。
似た用語との違い
よく混同される概念に「スペクトログラム」があります。スペクトログラムは、周波数軸が線形（通常のヘルツ単位）で表現されているため、高音域の情報も等しく等間隔で保持します。一方で「メル・スペクトログラム」は、人間の聴覚特性を考慮して低音域の解像度を高く、高音域の解像度を低く制限したメル尺度を周波数軸に採用しています。また、波形データそのものとも異なります。波形データは時間ごとの音圧変化を表す1次元のデータですが、メル・スペクトログラムは時間、周波数、強度の3つの要素を持った2次元の画像のようなデータ表現であるため、画像処理技術の応用が容易です。
注意点
メル・スペクトログラムは、メル尺度への変換プロセスにおいて高音域などの細かい音声情報が圧縮・破棄されるため、元の音声波形と完全に同一の状態へ逆変換することは数学的に不可能です。メル・スペクトログラムから音声波形を再構成して再生音を作る（音声合成など）際には、損失した位相情報を補完するために、ボコーダーと呼ばれる別のAIモデルが必要となります。