Web クローリング

Webクローリングは、自動プログラムで起点URLからページを取得し、ページ内リンクを発見して訪問候補へ追加しながら、複数のWeb資源を体系的・反復的に巡回収集する処理です。

■ 試験で押さえるポイント

• URLフロンティアで未訪問URLを管理し、正規化、重複排除、巡回深さ、対象ドメイン、再訪間隔を制御して無限ループを防ぎます。

• robots.txtの規則、サイト利用条件、HTTP状態、User-Agent、アクセス間隔を確認し、過剰要求で相手サーバへ負荷を掛けません。

• 取得したページの保存、更新検知、索引作成が中心で、ページ中の特定項目を解析・抽出するスクレイピングとは役割が異なります。

• robots.txtはクローラ向けアクセス規則であり認証機構ではありません。公開範囲でも著作権、個人情報、契約、再利用条件を別に確認します。

■ 選択肢での判断ポイント

リンクをたどって多数ページを巡回・取得するのがクローリング、取得ページから価格や表を抜き出すのがスクレイピングです。

例: 企業サイトのトップURLから同一ドメイン内リンクを幅優先でたどり、既訪問URLを除いてページを保存します。その後、各ページから製品名を抽出する処理はスクレイピングです。