AthenaとサーバーレスETLによるサーバーレスデータレイク分析

クローラーは変換ジョブではなくメタデータ収集を行う。列指向形式とパーティションによって、必要な列と日付に絞るクエリのスキャン量を減らせる。 サーバー管理は不要だが、不要なデータまで読み込む。日付分割と列指向形式へ整えるとスキャン量・費用・時間を削減しやすい。 クローラーはスキーマを検出してカタログへ登録する。ファイル形式の変換はETLジョブ等で別途行う。 継続的な高頻度の分析には候補となるが、クラスターの常時容量を用意する。本問の低頻度アドホック分析とサーバーの事前確保を避ける条件にはAthenaが適する。

日次でS3へ増えるTB規模のJSONログを、月に数回、日付と少数の列を指定してSQL集計する。クラスター容量を常時用意せず、毎回読むデータ量と分析費用を減らしたい。適切な前処理と分析の組合せを1つ選択してください。

出典AWS非公式・オリジナル問題
ア
Athenaから元のJSONをパーティションなしで毎回全走査する
イ
Glueでスキーマを検出してParquetへ変換・日付で分割し、Athenaで分析する
ウ
Glueクローラーだけを実行して元のJSONをParquetへ置き換える
エ
Redshiftのプロビジョンドクラスターを常時動かし、すべてのログを毎回ロードして分析する