Web クローリング
更新日:
用語解説
Web クローリングは、プログラムでWebページを取得し、ページ内のリンクをたどりながら、多数のページを自動的に巡回して集める処理です。
■ 試験で押さえるポイント
まだ訪問していないURLを管理し、重複や無限ループを防ぎます。
robots.txtの指示に従い、相手のサーバに負荷をかけないよう間隔を空けます。
ページから特定の項目を抜き出すのは、スクレイピングです。
■ 選択肢での判断ポイント
リンクをたどってページを巡回・取得するのがクローリング、中身を抜き出すのがスクレイピングです。