Controlli della concorrenza dello stream

Questa pagina fornisce una panoramica dei controlli della concorrenza dello stream, ad esempio il numero massimo di attività di backfill e di CDC (Change Data Capture) simultanee. Puoi controllare il rendimento dello stream aumentando o diminuendo i valori di questi parametri.

Panoramica dei controlli della concorrenza

Utilizzando i controlli della concorrenza, puoi eseguire il backfill e il CDC più velocemente o bilanciare il carico sul database di origine. Se hai bisogno di un throughput più elevato e puoi permetterti un carico maggiore sul database, puoi aumentare la concorrenza delle attività di CDC e di backfill. Al contrario, se il database è sottoposto a un carico elevato e vuoi proteggerlo dal sovraccarico, puoi ridurre i valori di questi parametri.

Numero massimo di attività CDC

Il parametro maxConcurrentCdcTasks consente di controllare il numero di attività CDC eseguite in parallelo da uno stream. Per estendere la velocità effettiva del CDC, aumenta il valore di questo parametro e consenti a Datastream di elaborare più file di log CDC contemporaneamente.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 5. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50, inclusi.
  • Il parametro è applicabile solo alle origini Oracle e MySQL.
  • Il parametro ha effetto solo se sono disponibili più file di log del database da leggere rispetto alle attività CDC. Le impostazioni dei file di log sono controllate dai parametri di configurazione del database di origine: la dimensione massima del file di log e l'intervallo di tempo massimo per la rotazione dei log. Per ulteriori informazioni su questi parametri, consulta la documentazione di Oracle e MySQL.
  • Se riduci il numero di attività CDC simultanee, Datastream potrebbe rimanere in ritardo rispetto ai log del database, il che potrebbe comportare la perdita della posizione del log e il fallimento dello stream.

Numero massimo di attività di backfill

Il parametro maxConcurrentBackfillTasks consente di controllare il numero di attività di backfill che uno stream può eseguire in parallelo. Puoi aumentare o diminuire questo valore per controllare il throughput del backfill.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 15. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50, inclusi.
  • L'aumento della concorrenza del backfill comporta un rischio elevato, poiché le attività di backfill hanno un impatto significativo sulle prestazioni del database. Ogni attività di backfill esegue una query SELECT non filtrata su una tabella e, per le tabelle di grandi dimensioni, queste query restituiscono un numero elevato di righe.
  • Se riduci la concorrenza del backfill, non si verificano impatti negativi sul database di origine, tranne per il fatto che il completamento del backfill richiede più tempo.

Modificare i valori dei controlli della concorrenza

Puoi modificare i valori dei parametri di controllo della contemporaneità utilizzando l'API Datastream.

Passaggi successivi