データレイク

データレイクは、構造化、半構造化、非構造化データを、元の粒度・形式に近い状態で大規模に蓄積し、後から分析目的に応じて変換・解釈できるデータ基盤です。

■ 試験で押さえるポイント

• 表だけでなくCSV、JSON、ログ、画像、音声などを低コストで保存し、機械学習、探索分析、再処理など複数用途へ利用します。

• 書込み時に用途別の厳格な表へ整えるschema-on-write中心のDWHに対し、利用時に構造を適用するschema-on-readを活用します。

• 生データ領域、品質確認済み領域、用途別提供領域を分け、カタログ、スキーマ、出所、品質、アクセス権、ライフサイクルを管理します。

• 何でも無秩序に格納すると発見・信頼・管理できないデータスワンプになるため、ガバナンスが不要という意味ではありません。

■ 選択肢での判断ポイント

多様な生データを先に蓄積し、用途に応じ後から構造化する点を選びます。分析用に統合・整形済みの構造化データを主に保持するDWHと区別します。

例: 取引表、Webログ、顧客応対音声をオブジェクトストレージへ保持し、カタログと権限を付け、需要予測用に必要なデータだけ変換します。