このページでは、同時変更データ キャプチャ(CDC)タスクやバックフィル タスクの最大数など、ストリームの同時実行制御の概要について説明します。これらのパラメータの値を増減することで、ストリームのパフォーマンスを制御できます。
同時実行制御の概要
同時実行制御を使用すると、バックフィルと CDC を高速化するか、ソース データベースの負荷を分散できます。より高いスループットが必要で、データベースに高い負荷を許容できる場合は、CDC タスクとバックフィル タスクの同時実行を増やすことができます。逆に、データベースの負荷が高く、過負荷から保護する場合は、これらのパラメータの値を減らすことができます。
CDC タスクの最大数
maxConcurrentCdcTasks
パラメータを使用すると、ストリームが並行して実行される CDC タスクの数を制御できます。CDC スループットを拡張するには、このパラメータの値を増やし、Datastream がより多くの CDC ログファイルを同時に処理できるようにします。
パラメータの主な特徴は次のとおりです。
- デフォルト値は
5
です。このパラメータには、1
~50
の間で任意の値を設定できます。 - このパラメータは、Oracle ソースと MySQL ソースにのみ適用されます。
- このパラメータは、CDC タスクよりも読み取り可能なデータベース ログファイルがある場合にのみ影響します。ログファイルの設定は、ソース データベース構成パラメータ(最大ログファイルサイズと最大のログ ローテーション時間間隔)によって制御されます。これらのパラメータの詳細については、Oracle と MySQL のドキュメントをご覧ください。
- 同時 CDC タスクの数を減らすと、Datastream がデータベース ログより遅れて、ログ位置の損失やストリーム障害につながる可能性があります。
バックフィル タスクの最大数
maxConcurrentBackfillTasks
パラメータを使用すると、ストリームを並行して実行できるバックフィル タスクの数を制御できます。この値を増減してバックフィル スループットを制御できます。
パラメータの主な特徴は次のとおりです。
- デフォルト値は
15
です。このパラメータには、1
~50
の間で任意の値を設定できます。 - バックフィルのタスクはデータベースのパフォーマンスに大きな影響を与えるため、バックフィルの同時実行を増やすとリスクが高くなります。各バックフィル タスクは、テーブルに対してフィルタリングされていない
SELECT
クエリを実行します。大規模なテーブルの場合、このようなクエリは多数の行を返します。 - バックフィルの同時実行数を減らすと、バックフィルの完了に時間がかかる場合を除き、ソース データベースに悪影響を及ぼすことはありません。
同時実行制御の値を変更する
同時実行制御パラメータの値は、Datastream API を使用して変更できます。
- 同時 CDC タスクの数を増やす、または減らす方法については、同時 CDC タスクの最大数を変更するをご覧ください。
- 同時バックフィル タスクの数を増やす、または減らす方法については、同時バックフィル タスクの最大数を変更するをご覧ください。
次のステップ
- Datastream API の使用方法については、ストリームの管理をご覧ください。
Stream
リソースの詳細については、Datastream API リファレンス ドキュメントをご覧ください。