コンテンツに移動
データ分析

Dataflow Prime バッチジョブの垂直自動スケーリングの導入

2023年4月20日
Google Cloud Japan Team

※この投稿は米国時間 2023 年 4 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

このたび、Dataflow Prime でバッチジョブの垂直自動スケーリングがサポートされるようになりましたのでお知らせいたします。

Dataflow Prime バッチジョブのメモリ不足エラーに対処

Dataflow は信頼性の高いサービスで、変更がないまま何年も実行されているパイプラインもサポートしますが、ワーカーでメモリの問題が発生して、メモリ不足(OOM)エラーにつながることもあります。現在のシステムでは、OOM エラーが原因で作業アイテムが失敗した場合、最大 4 回まで再試行されます。再試行後も作業アイテムが失敗する場合、ジョブ全体の失敗となり、正常に処理されたすべての作業が破棄されてしまいます。これでは、処理費用が無駄になるだけでなく、何の出力も生み出せません。

さらに、OOM エラーを解決するには、多くの場合、メモリ容量を増やしてジョブを再起動する必要がありますが、これは時間と費用のかかる試行錯誤のプロセスになる可能性があります。

Google は、Dataflow Prime ジョブのメモリ不足(OOM)エラーに関連する課題に対処するために垂直自動スケーリングを開発しました。垂直自動スケーリングにより、ユーザーはアプリケーションとビジネス ロジックに集中できるようになります。2022 年 8 月にストリーミング パイプラインの垂直自動スケーリングをリリースしましたが、今回は、Dataflow Prime バッチジョブの垂直自動スケーリングの一般提供を開始します。

Dataflow Prime バッチジョブの垂直自動スケーリングでは、OOM イベントとメモリ使用量が経時的にモニタリングされ、4 回の OOM エラー発生後にメモリのアップスケーリングが自動的に行われ、ジョブの失敗を防止します。これにより、手動による介入を必要とせずに、Dataflow Prime バッチジョブのメモリエラーに対する復元性が確保されます。

https://storage.googleapis.com/gweb-cloudblog-publish/original_images/1_vertical_autoscaling.gif

垂直自動スケーリングを使用することで、メモリエラーによるジョブの失敗のリスクを軽減し、Dataflow Prime ジョブの全体的な信頼性と効率性を向上させることができます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/2_vertical_autoscaling.max-1200x1200.jpg

使ってみる

Dataflow Prime バッチジョブの垂直自動スケーリングを有効にする方法の詳細については、ドキュメント ページをご覧ください。


- ソフトウェア エンジニア Jing Zhao
- プロダクト マネージャー Efesa Origbo

投稿先