データの収集(Web クローリング,スクレイピング)

データの収集は、分析に使うデータを、業務システム、センサー、アンケート、Webサイトなどから集めることです。Webサイトの情報を自動で巡回して集める手法に、Webクローリングやスクレイピングがあります。

■ 試験で押さえるポイント

• Webクローリングは、プログラム（クローラ）がリンクをたどってWebページを巡回し、収集する手法です。

• スクレイピングは、取得したWebページから、必要な部分（価格や記事など）だけを抜き出す手法です。

• 収集する前に、サイトの利用規約やrobots.txtの指示を確認し、サーバに過大な負荷を掛けないようにします。

• 個人情報を含むデータを集めるときは、利用目的の特定や通知など、個人情報保護法のルールに従います。

■ 過去問での着眼点

クローリングは「巡回して集める」、スクレイピングは「必要な部分を抜き出す」です。技術的に取得できても、規約違反やサーバへの過大な負荷は問題になります。