スクレイピング

スクレイピングは、Webページ、PDFなどの人向け表示データを解析し、DOM要素、表、文字パターンなどから必要な項目を抽出・整形して、分析可能な構造化データへ変換する技術です。

■ 試験で押さえるポイント

• HTMLパーサ、CSSセレクタ、XPath、正規表現などを使い、商品名、価格、日付などを列へ対応付けます。構造解析には正規表現だけへ依存しません。

• ページ構造、動的描画、文字コード、ページ分割が変わると誤抽出しやすいため、件数・型・範囲検査と変更監視を行います。

• クローリングがページを巡回・取得する処理、スクレイピングが内容を抽出する処理です。一つのシステムで両方を行うこともあります。

• 提供APIがあれば安定性と利用条件を比較し、利用規約、robots.txt、著作権、個人情報、アクセス負荷を確認して適法・適切に実施します。

■ 選択肢での判断ポイント

ページ内の必要情報を抽出・整形する点が中心です。検索エンジンのようにリンクを再帰的にたどる処理だけならクローリングです。

例: 取得済み商品ページの`price`要素から「1,200円」を抽出し、通貨記号とカンマを除いて数値1200へ変換します。要素欠落時は0でなく欠損として記録します。