ロボット型

ロボット型検索エンジンは、クローラ、スパイダー又はボットと呼ばれるプログラムがWebページを自動収集し、その内容を解析して検索用索引を構築する方式です。

■ 試験で押さえるポイント

• 既知URLからリンクをたどり、サイトマップなどから新しいURLも発見し、HTTPで取得します。取得済みページも更新頻度や重要度に応じて再クロールします。

• 収集後に重複URLの正規化、本文抽出、語の索引化、品質評価などを行います。クロールされたページが必ず索引登録又は検索表示されるとは限りません。

• robots.txtは協調的なクローラへ取得可否を伝え、noindexは検索結果へ載せない指示に使われます。robots.txtはアクセス制御ではなく、秘密情報の保護には認証が必要です。

• 人手でサイトをカテゴリ登録・分類するディレクトリ型より大規模化と更新へ対応しやすい一方、無限URL、重複、スパム、JavaScript描画などへの制御が必要です。

■ 選択肢での判断ポイント

自動巡回＝クローラ、内容解析＝インデクサ、問合せ時の順位付け＝検索処理として区別します。robots.txtで第三者の閲覧まで禁止できるという説明は誤りです。

例: クローラがトップページから商品リンクを発見して取得し、インデクサが商品名と説明を登録します。利用者検索時は保存索引を検索し、毎回Web全体を巡回しません。