IT資格用語解説応用情報技術者試験・データ利活用
ストップワード除去
更新日:
用語解説
ストップワード除去は、自然言語処理や検索で、よく出てくるが意味の理解に役立たない語(助詞や冠詞など)を、処理の対象から取り除く前処理です。
■ 試験で押さえるポイント
英語のthe、is、日本語の「は」「の」などがあります。
目的によって、取り除く語を決めます。
■ 過去問での着眼点
意味のある語だけを残して、分析の精度と速さを上げる点を押さえます。
例: 文書の分類の前に、「は」「が」「です」などを除きます。