ストリームの同時実行制御

このページでは、同時変更データ キャプチャ(CDC)タスクやバックフィル タスクの最大数など、ストリームの同時実行制御の概要について説明します。これらのパラメータの値を増減することで、ストリームのパフォーマンスを制御できます。

同時実行制御の概要

同時実行制御を使用すると、バックフィルと CDC を高速化するか、ソース データベースの負荷を分散できます。より高いスループットが必要で、データベースに高い負荷を許容できる場合は、CDC タスクとバックフィル タスクの同時実行を増やすことができます。逆に、データベースの負荷が高く、過負荷から保護する場合は、これらのパラメータの値を減らすことができます。

CDC タスクの最大数

maxConcurrentCdcTasks パラメータを使用すると、ストリームが並行して実行される CDC タスクの数を制御できます。CDC スループットを拡張するには、このパラメータの値を増やし、Datastream がより多くの CDC ログファイルを同時に処理できるようにします。

パラメータの主な特徴は次のとおりです。

  • デフォルト値は 5 です。このパラメータには、150 の間で任意の値を設定できます。
  • このパラメータは、Oracle ソースと MySQL ソースにのみ適用されます。
  • このパラメータは、CDC タスクよりも読み取り可能なデータベース ログファイルがある場合にのみ影響します。ログファイルの設定は、ソース データベース構成パラメータ(最大ログファイルサイズと最大のログ ローテーション時間間隔)によって制御されます。これらのパラメータの詳細については、Oracle と MySQL のドキュメントをご覧ください。
  • 同時 CDC タスクの数を減らすと、Datastream がデータベース ログより遅れて、ログ位置の損失やストリーム障害につながる可能性があります。

バックフィル タスクの最大数

maxConcurrentBackfillTasks パラメータを使用すると、ストリームを並行して実行できるバックフィル タスクの数を制御できます。この値を増減してバックフィル スループットを制御できます。

パラメータの主な特徴は次のとおりです。

  • デフォルト値は 15 です。このパラメータには、150 の間で任意の値を設定できます。
  • バックフィルのタスクはデータベースのパフォーマンスに大きな影響を与えるため、バックフィルの同時実行を増やすとリスクが高くなります。各バックフィル タスクは、テーブルに対してフィルタリングされていない SELECT クエリを実行します。大規模なテーブルの場合、このようなクエリは多数の行を返します。
  • バックフィルの同時実行数を減らすと、バックフィルの完了に時間がかかる場合を除き、ソース データベースに悪影響を及ぼすことはありません。

同時実行制御の値を変更する

同時実行制御パラメータの値は、Datastream API を使用して変更できます。

次のステップ