Einstellungen für die Stream-Nebenläufigkeit

Auf dieser Seite finden Sie eine Übersicht über die Steuerelemente für die Stream-Parallelität, z. B. die maximale Anzahl gleichzeitiger CDC-Aufgaben (Change Data Capture) und Backfill-Aufgaben. Sie können die Streamleistung steuern, indem Sie die Werte dieser Parameter erhöhen oder verringern.

Gleichzeitigkeitserkennung – Übersicht

Mit den Steuerelementen für die Nebenläufigkeit können Sie entweder ein schnelleres Backfill und CDC erzielen oder die Last auf der Quelldatenbank ausgleichen. Wenn Sie einen höheren Durchsatz benötigen und eine höhere Belastung der Datenbank verkraften können, können Sie die Nebenläufigkeit von CDC- und Backfill-Aufgaben erhöhen. Wenn Ihre Datenbank dagegen stark ausgelastet ist und Sie sie vor einer Überlastung schützen möchten, können Sie die Werte dieser Parameter verringern.

Maximale Anzahl von CDC-Aufgaben

Mit dem Parameter maxConcurrentCdcTasks können Sie die Anzahl der CDC-Aufgaben steuern, die ein Stream parallel ausführt. Wenn Sie den CDC-Durchsatz erhöhen möchten, erhöhen Sie den Wert dieses Parameters und erlauben Sie Datastream, gleichzeitig mehr CDC-Protokolldateien zu verarbeiten.

Zu den wichtigsten Merkmalen des Parameters gehören:

  • Der Standardwert ist 5. Sie können diesen Parameter auf einen beliebigen Wert zwischen 1 und 50 festlegen.
  • Der Parameter gilt nur für Oracle- und MySQL-Quellen.
  • Der Parameter wirkt sich nur aus, wenn mehr Datenbankprotokolldateien zum Lesen verfügbar sind als CDC-Aufgaben. Die Einstellungen für die Protokolldateien werden durch die Konfigurationsparameter der Quelldatenbank gesteuert: die maximale Protokolldateigröße und das maximale Zeitintervall für die Protokollrotation. Weitere Informationen zu diesen Parametern finden Sie in der Oracle- und MySQL-Dokumentation.
  • Wenn Sie die Anzahl der gleichzeitigen CDC-Aufgaben verringern, kann Datastream hinter den Datenbankprotokollen zurückbleiben. Dies kann zu einem Verlust der Protokollposition und einem Streamfehler führen.

Maximale Anzahl von Backfill-Aufgaben

Mit dem Parameter maxConcurrentBackfillTasks können Sie die Anzahl der Backfill-Aufgaben steuern, die ein Stream parallel ausführen kann. Sie können diesen Wert erhöhen oder verringern, um den Backfill-Durchsatz zu steuern.

Zu den wichtigsten Merkmalen des Parameters gehören:

  • Der Standardwert ist 15. Sie können diesen Parameter auf einen beliebigen Wert zwischen 1 und 50 festlegen.
  • Das Erhöhen der Backfill-Parallelität birgt ein hohes Risiko, da Backfill-Aufgaben erhebliche Auswirkungen auf die Datenbankleistung haben. Bei jeder Backfill-Aufgabe wird eine ungefilterte SELECT-Abfrage für eine Tabelle ausgeführt. Bei großen Tabellen geben solche Abfragen eine große Anzahl von Zeilen zurück.
  • Wenn Sie die Backfill-Parallelität verringern, hat das keine negativen Auswirkungen auf die Quelldatenbank. Das Backfilling dauert lediglich länger.

Werte für Steuerelemente für die Nebenläufigkeit ändern

Sie können die Werte der Parameter für die Parallelitätssteuerung mit der Datastream API ändern.

Nächste Schritte