サーバーレスETLパイプラインとデータレイクアドホック分析

クローラーはスキーマ検出とカタログ化を行う。Parquetへの変換はETLジョブが担当し、AthenaがS3上のデータへSQLを実行する。 Inventoryはオブジェクトの一覧であり、内容のカタログ化や分析SQLの実行とは異なる。 カタログ作成とクエリだけではファイル形式を自動変換しない。ETL等の処理が必要である。 Firehoseへの取り込みと配信の機能である。既存ファイル全体のETL処理とは区別する。

多種多様なフォーマットでS3データレイクに蓄積された日次の業務ログファイルを、自動的にスキーマ検出・カタログ化し、列指向フォーマット(Apache Parquet)に変換して、標準SQLで高速かつ低コストにインタラクティブ分析したい。サーバーのプロビジョニングは行わない。

最も適切な組み合わせを1つ選択してください。

出典AWS非公式・オリジナル問題
ア
S3 Inventoryだけを作り、ファイル内の全列のスキーマ検出とSQL分析を実施する
イ
GlueクローラーとAthenaだけを使い、JSON等の元データも自動的にParquetへ変換する
ウ
Glueでカタログ化とParquetへの変換を行い、Athenaで分析する
エ
Firehoseの形式変換だけを有効化し、既にS3へ蓄積済みの全ファイルを自動処理する