大規模分散データ処理クラスターの動的サイジングとコスト最適化

Amazon S3をEMRFSストレージとして使用することで、コンピュートとストレージが完全に分離され、クラスターを終了してもデータは安全にS3に残る。 一時的なEMRクラスターを終了し、中断を許容するタスクノードをSpotにすると不要な稼働時間を減らせる。削減率は需要や構成に依存し、再試行と容量不足にも備える。 誤った終了を防ぐ運用に使えるが、日次処理完了後にクラスター費用を停止する目的には合わない。 クラスターに依存するHDFSだけに残した結果は終了で失われる。S3へ分離して保存すれば計算基盤を終了しても入出力を維持できる。 Spotを計算タスクへ使うのは費用削減に有効だが、プライマリの中断はジョブ全体の継続に影響する。本問の再実行回避には重要なノードをオンデマンド等へ分ける。

ペタバイト規模のログをSparkで夜間に処理する。終了後はクラスターを破棄し、結果を維持したい。ワーカーの再試行は許容するが、単一のプライマリノードの中断によるジョブ全体の再実行は避けたい。計算と保存を分離し、費用を抑える構成を2つ選択してください。

出典AWS非公式・オリジナル問題
【複数選択】 正解を 2つ 選択してください0 / 2 選択中