全文検索型

全文検索型は、文書のタイトルや登録キーワードだけでなく本文を解析・索引化し、利用者の検索語を含む又は関連する文書を探す検索方式です。一般に転置インデックスを用いて大規模文書集合を検索します。

■ 試験で押さえるポイント

• 収集文書を単語又はn-gramへ分割し、表記正規化、形態素解析、ストップワード処理などを行って、検索語から文書IDを引く索引を作ります。

• 複数語のAND・OR、フレーズ、近接、除外条件をポスティングリストの集合演算や出現位置で処理します。単純な部分文字列走査だけを指しません。

• 出現頻度、文書頻度、見出し位置、リンク、鮮度などを用いて関連度を計算し順位付けします。語を含むだけで必ず上位又は正解になるわけではありません。

• 索引へ収録されていない、クロール不能、画像だけ、動的生成、更新直後などの文書は検索できない場合があり、『Web上の全文を漏れなく検索』は保証されません。

■ 選択肢での判断ポイント

本文を解析して転置索引から検索する方式と、人手で分類したカテゴリをたどるディレクトリ型を区別します。クロール、索引作成、検索順位付けは別工程です。

例: 『データベース 正規化』を検索すると、両語のポスティングリストの共通文書を求め、本文中の頻度や近さなどで順位付けして返します。