自然言語処理の前処理手法(形態素解析と正規化)

日本語は膠着語であり単語の境界が明示されないため、形態素解析による分かち書きと品詞判定が自然言語処理パイプラインの不可欠な第一歩となります。 ア:正解です。日本語の分かち書きと品詞付与を辞書(IPA辞書やUniDicなど)に基づいて実行します。 イ:誤りです。ストップワードは「て、に、を、は」や助詞、接続詞など、出現頻度が高く内容の識別に寄与しにくい一般的な語のことです。 ウ:誤りです。ステミングは語形変化する単語から語幹(stem)を機械的に取り出す処理(例: playing → play)です。 エ:誤りです。文脈による深い意味解釈は形態素解析だけでは解けず、後段の言語モデル等で扱います。

日本語の自然言語処理における前処理に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
日本語は英語のように単語間にスペース(空白)がないため、MeCabやSudachiなどの形態素解析器を用いて文を最小の意味単位である形態素に分割(分かち書き)し、品詞同定を行う。
イ
ストップワードとは、専門用語や固有名詞など、文書の意味を決定づける最重要キーワードのことである。
ウ
ステミング(Stemming)とは、文中のすべての句読点や記号をランダムな英単語に置き換える処理である。
エ
形態素解析を行えば、文脈に応じた同音異義語の意味多義性の問題が100%完全に解消される。