特徴抽出

特徴抽出は、画像、音声、文章、センサ値などの生データから、識別や予測に有用な性質を数値表現として取り出す処理です。不要な変動や次元を抑え、後段の機械学習モデルが規則性を捉えやすくします。

■ 試験で押さえるポイント

• 画像のエッジ・色、音声の周波数成分、文章の単語頻度などを人が設計する方法と、ニューラルネットワークが中間表現・埋込みをデータから学習する方法があります。

• 特徴抽出は元の変数を変換・組合せて新しい表現を作ります。既存変数の一部だけを残す特徴選択とは異なり、PCAによる主成分も特徴抽出です。

• 次元削減は計算量や過学習を抑えられますが、目的に必要な情報まで捨てると精度が下がります。識別対象を分け、不要変動には頑健な特徴を選びます。

• 標準化、辞書作成、PCAなどデータから学ぶ変換は訓練データだけで当てはめ、同じ変換を検証・テストへ適用します。全データで先に学ぶとデータ漏えいになります。

■ 選択肢での判断ポイント

生データを判別しやすい数値へ変換するのが特徴抽出です。特徴選択、最終的な分類、学習データのラベル付けと区別し、PCAやニューラルネットワークの中間表現を例として判断します。

例: 手書き数字画像784画素をそのまま使わず、輪郭方向やニューラルネットワークの埋込みへ変換し、その特徴ベクトルを分類器へ入力します。