夜間の大規模な変換処理の費用

正解は ウ です。 EMRの費用は、 処理の間だけ起動する一時的なクラスター と、データを持たない タスクノードのスポット で大きく下がります。データはS3に置くため、クラスターを消しても残ります。 対策 効果 一時的なクラスター 18時間分の待機の費用をなくす タスクノードのスポット 計算の費用を下げる コアノードのスポット 中断でHDFSのデータを失う恐れ プライマリやコアの中断でクラスター全体が止まる恐れがある。 並列の処理ができず、時間内に終わらない恐れがある。 待機の費用をなくし、計算の費用も下げられる。 使わない時間の費用が残る。

毎晩6時間、EMRでSparkの変換処理を行う。現在は大きなクラスターを常時起動し、すべてオンデマンドである。処理が中断されても再試行で朝までに終われば良い。

最も適切なものを1つ選択してください。

出典AWS非公式・オリジナル問題
ア
コアノードとプライマリノードもすべてスポットにして、最も安い構成にする
イ
EMRをやめて、1台の大きなEC2でSparkのローカルモードを使い毎晩処理する
ウ
データをS3に置き、処理の間だけクラスターを起動し、タスクノードにスポットを使う
エ
クラスターを常時起動のまま、すべてのノードをリザーブドインスタンスで購入する