Kinesis Data StreamsとAmazon Data Firehoseの選定

ア:Amazon Data Firehoseは完全マネージド型のデータ配信サービスであり、ストリーミングデータを自動的にバッファリング、フォーマット変換(Parquet/ORC)、圧縮してAmazon S3、Amazon Redshift、OpenSearch Service、Splunk等に直接配信する。シャード管理が不要で運用オーバーヘッドが最も低い。 イ(誤り):EC2上の自作Fluentdはサーバー管理・スケーリングの運用負荷が高い。 ウ(誤り):Kinesis Data Streamsはシャード管理が必要であり、コンシューマーアプリケーション(LambdaやKCLアプリ)を自前で実装する必要がある。 エ(誤り):Amazon MSKはKafkaクラスタの管理が必要であり、要件に対して過剰かつ運用負荷が高い。

数千台のIoTデバイスから送信されるクリックストリームデータを収集し、Amazon S3データレイクおよびAmazon OpenSearch Serviceへ永続化するパイプラインを構築する。データ取り込みにおいて「カスタムコードによるリアルタイム処理は不要で、管理オーバーヘッドを最小限に抑え、データを自動バッファリング・圧縮・変換してS3やOpenSearchへ自動配信するサーバーレスソリューション」として最適なものを1つ選択してください。

出典AWS非公式・オリジナル問題
ア
Amazon Data Firehose
イ
Amazon EC2上の自作Fluentdクラスタ
ウ
Amazon Kinesis Data Streams
エ
Amazon Managed Streaming for Apache Kafka (Amazon MSK)