ロボット型
更新日:
用語解説
ロボット型は、クローラと呼ばれるプログラムがWebページを自動的に巡回して集め、内容を解析して検索用の索引を作る検索エンジンです。
■ 試験で押さえるポイント
リンクをたどって新しいページを見つけ、定期的に再取得します。
robots.txtは、クローラに取得してよい範囲を伝えるもので、アクセス制御ではありません。
人手で登録・分類するディレクトリ型より、大規模なWebに対応できます。
■ 選択肢での判断ポイント
自動で巡回するクローラが特徴で、robots.txtで閲覧まで禁止できるわけではない点を押さえます。