モデル軽量化技術(プルーニング、量子化、知識蒸留)

モデル軽量化の3大手法:プルーニング(不要パラメータの削減)、量子化(ビット幅縮小によるメモリ削減と整数演算の高速化)、知識蒸留(教師モデルのダークナレッジを小型モデルに継承)。 ア:正解です。プルーニング、量子化、知識蒸留の3大技術の定義です。 イ:誤りです。知識蒸留(Hintonら)の核心は、教師モデルが持つ各クラス間の相対的確率(ソフトターゲット)から暗黙知を学ぶ点にあります。 ウ:誤りです。量子化によりサイズは1/4(FP32→INT8)等に激減し、INT8専用命令で推論が大幅に高速化します。 エ:誤りです。プルーニング後に枝刈りされた状態でファインチューニングを行うことで、精度低下を回復させるのが通例です。

深層学習モデルをスマートフォンや車載機器などのエッジ環境へ実装するための軽量化手法に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
プルーニングは重要度の低い重みをゼロにして削除し、量子化は重みや活性化値のビット精度(FP32からINT8など)を削減し、知識蒸留は大容量の教師モデルの出力を小型の生徒モデルに模倣学習させる手法である。
イ
知識蒸留では、生徒モデルは教師モデルの最終ハードラベル(0か1)のみを学習し、確率分布(ソフトターゲット)は一切参照しない。
ウ
量子化を行うとモデルのメモリフットプリントは増大し、専用アクセラレータでの推論速度は必ず低下する。
エ
プルーニング(枝刈り)を行ったネットワークは、再学習(ファインチューニング)することが原理的に禁止されている。