IoTストリーミングデータのリアルタイム取り込みとデータレイク格納

Amazon Data Firehoseはフルマネージドなストリーミングデータ配信サービスであり、データのバッファリング、圧縮、Parquet/ORC形式への変換(AWS Glueデータカタログと連携)、およびS3への自動ロードをサーバーレスで実現できる。 スキーマ検出とSQL分析はできるが、クローラーはファイルを書き換えない。取込み時のParquet変換と自動配信にはFirehose等の配信処理を用意する。 実装すれば近い処理を実現できるが、コンシューマーの配信・変換処理の運用が必要になる。本問の運用削減にはFirehoseのマネージド配信が適する。 EventBridgeはイベントのルーティングを行うが、S3はルールの直接ターゲットではない。Parquet変換・バッファリングも配信サービス側で構成する。

IoTログはJSONで取り込まれ、Glue Data Catalogには対応するスキーマを定義済みである。数十秒〜数分のバッファリングを許容し、Parquetへ変換してS3へ配信したい。シャード管理や配信用サーバーの保守を省きたい。

最も適切なものを1つ選択してください。

出典AWS非公式・オリジナル問題
ア
GlueクローラーとAthenaでJSONを参照する
イ
Kinesis Data Streamsと独自コンシューマーでS3へParquetを書き込む
ウ
Amazon Data Firehoseでデータ形式変換とS3配信を設定する
エ
EventBridgeルールでイベントをS3の書込み先へ直接送る