音声処理とモデルの軽量化・エッジAI｜音素からWaveNetまで

スマートスピーカーに話しかけると、その場ですぐ応答が返ってきます。音の波形を言葉に変える処理と、モデルを小さくして手元の機器で動かす工夫が噛み合った成果です。

こんにちは、zawato（@zawato7）です！

本記事はディープラーニング入門ロードマップの第31回です。画像・言語ときて、残るモダリティである音声を扱います。

この記事でわかること

音声処理は「音素を当てる」ための下ごしらえ

音声認識は、アナログ音声をデジタル化し、特徴量を取り出し、音素を推定して文章にする流れで進みます。まず押さえたいのが音素と音韻の違いです。

用語	意味
音素	言語に依存せず、人間が発声できる音の最小単位
音韻	その言語において区別される、ことばの音の最小単位

最初の工程はAD変換です。一般にはPCM（パルス符号変調）が使われ、標本化と量子化の2段階で波形を数値の列にします。

次が特徴量の抽出です。音は周波数の合成なので、FFT（高速フーリエ変換）で成分に分解します。これを時間に沿って並べ、画像のように表したものがスペクトログラムです。

ただし人の耳は周波数が高いほど違いを感じにくくなります。この感覚に合わせた目盛りがメル尺度、それで補正した特徴量がMFCC（メル周波数ケプストラム係数）です。周波数のピークはフォルマントと呼び、母音の識別に使われます。

特徴量から音素列を当てるのが音声認識、言葉から波形を作るのが音声合成です。古典的にはHMM（隠れマルコフモデル）で音素列を推定していましたが、いまはディープラーニングが主流です。

代表格がWaveNetです。飛び飛びの間隔で畳み込むダイレイテッド畳み込みを用いたCNNベースのモデルで、人が話すような自然な音声合成を実現しました。

もうひとつがCTC（Connectionist Temporal Classification）です。同じ「あ」でも伸ばす人と短く切る人がいるように、音の長さと文字数は一致しません。CTCは対応する文字がない区間に空文字を割り当てて吸収します。

音声は順序を持つデータなので、扱い方はLSTMなど時系列モデルと地続きです。近年はTransformerベースの音声認識モデルが精度を伸ばしています。

高精度なモデルほど重くなるため、精度を保ったままサイズと計算量を減らす手法が用意されています。覚えるべきは次の3つです。

手法	やること
蒸留	学習済みモデルの入力と予測値のペアを教師データに、小さなモデルを作る
量子化	重みを32ビットから8ビットなどへ落とし、メモリと計算量を減らす
プルーニング	予測への影響が小さい部分（重みの小さい結合など）を削除する

蒸留では元のモデルを教師モデル、新しく作る小さなモデルを生徒モデルと呼びます。知識を引き継ぐ点で転移学習と発想が近い手法です。プルーニングの背景には、大きなネットワークには当たりのサブネットワークが含まれるという宝くじ仮説があります。

エッジAIとは、カメラやスマートフォンなど現場の端末側でモデルを動かす方式です。クラウドに置くか端末に置くかで、得られるものと失うものが分かれます。

配置	メリット	デメリット
クラウド	精度の高い大きなモデルが使える／更新が容易	通信の遅延／障害時の影響が広い
エッジ	リアルタイム性が高い／通信量が少ない	モデルが小さくなる／端末ごとの保守が大変

工事現場の映像監視のように、動画をすべてクラウドへ送ると通信量が跳ね上がる場面ではエッジが有利です。ただし端末の性能は限られるため、前節の軽量化が前提になります。代表例のMobileNetは、畳み込みを分解して計算量を減らし、端末で動く大きさに収めたモデルです。