Glue ETLによるサーバーレスデータ変換とカタログ管理

AWS Glueは完全マネージド型のサーバーレスETL(抽出・変換・ロード)サービスであり、Apache Spark環境を自動でプロビジョニング・スケールして大容量データ変換処理を実行できる。データカタログとの連携もシームレスである。 Lambda関数は最大実行時間が15分に制限されており、大量データの日次バッチ変換には不向きである。 EMRの手動クラスタ起動はクラスタ管理やノード管理のオーバーヘッドが発生する。 Redshift SpectrumはS3に対するクエリエンジンであり、変換・ロードの自動ETLパイプラインではない。

複数の基幹システムからS3へ日次で配置されるTB規模のCSVを、分散処理で結合・整形し、Parquetへ変換する。実行には30分以上を要する。基盤クラスターを直接管理せず、スケジュール化したETLをマネージドで実行するサービスを1つ選択してください。

出典AWS非公式・オリジナル問題
ア
AWS Step Functionsから呼び出す単一のAWS Lambda関数
イ
Amazon EMR(EC2スポットインスタンスクラスタ)を手動起動
ウ
Amazon Redshift Spectrum
エ
AWS Glue ETL ジョブ