ストリーミングデータ

ストリーミングデータは、センサ、取引、クリック、ログなどから継続的に到着する、終端があらかじめ定まらないイベント列です。全件の蓄積完了を待たず、到着に応じて取り込み・処理します。

■ 試験で押さえるポイント

• メッセージブローカ等で受信し、フィルタ、変換、集計、異常検知を連続実行して、低遅延の通知やダッシュボードへつなげます。

• 無限のイベントを直接全件集計できないため、直近5分などの時間窓、件数窓、セッション窓に区切って有限の結果を計算します。

• 発生時刻（イベント時間）とシステム到着時刻（処理時間）が異なり、遅延・順序逆転したイベントをウォーターマーク等でどこまで待つか決めます。

• 再送・重複・欠落に備え、at-most-once、at-least-once、exactly-once相当の処理保証、順序、チェックポイント、冪等な出力を設計します。

■ 選択肢での判断ポイント

データ到着中に逐次処理する点と、窓・遅延イベント・配信保証を押さえます。一定期間分を集めて一括処理するバッチ処理との対比が重要です。

例: 工場センサをイベント時間の5分窓で平均し、2分遅れまで待つウォーターマークを設け、閾値超過時に設備停止アラートを出します。