Controlli della contemporaneità dei flussi

Questa pagina fornisce una panoramica dei controlli della contemporaneità dei flussi, come il numero massimo di attività Change Data Capture (CDC) simultanee e attività di backfill. Puoi controllare le prestazioni del flusso aumentando o diminuendo i valori di questi parametri.

Panoramica dei controlli di contemporaneità

Utilizzando i controlli della contemporaneità, puoi ottenere backfill e CDC più veloci o bilanciare il carico sul database di origine. Se hai bisogno di velocità effettiva più elevate e puoi avere un carico maggiore sul database, puoi aumentare la contemporaneità delle attività CDC e di backfill. Al contrario, se il tuo database presenta un carico elevato e vuoi proteggerlo dal sovraccarico, puoi ridurre i valori di questi parametri.

Numero massimo di attività CDC

Il parametro maxConcurrentCdcTasks consente di controllare il numero di attività CDC che uno stream viene eseguito in parallelo. Per estendere la velocità effettiva CDC, aumenta il valore di questo parametro e consenti a Datastream di elaborare più file di log CDC contemporaneamente.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 5. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50 inclusi.
  • Il parametro è applicabile solo alle origini Oracle e MySQL.
  • Il parametro ha impatto solo se il numero di file di log del database disponibili per la lettura è superiore al numero di attività CDC. Le impostazioni dei file di log sono controllate dai parametri di configurazione del database di origine: la dimensione massima del file di log e l'intervallo di tempo di rotazione massimo dei log. Per saperne di più su questi parametri, consulta la documentazione di Oracle e MySQL.
  • Se riduci il numero di attività CDC simultanee, Datastream potrebbe rimanere indietro rispetto ai log del database, il che potrebbe portare a una perdita della posizione del log e a un errore del flusso.

Numero massimo di attività di backfill

Il parametro maxConcurrentBackfillTasks consente di controllare il numero di attività di backfill che un flusso può eseguire in parallelo. Puoi aumentare o diminuire questo valore per controllare la velocità effettiva di backfill.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 15. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50 inclusi.
  • L'aumento della contemporaneità del backfill presenta un rischio elevato, perché le attività di backfill hanno un impatto significativo sulle prestazioni del database. Ogni attività di backfill esegue una query SELECT non filtrata su una tabella e, per le tabelle di grandi dimensioni, queste query restituiscono un numero elevato di righe.
  • La riduzione della contemporaneità del backfill non avrà alcun impatto negativo sul database di origine, ad eccezione del fatto che il completamento del backfill richiede più tempo.

Modificare i valori dei controlli di contemporaneità

Puoi modificare i valori dei parametri di controllo della contemporaneità utilizzando l'API Datastream.

Passaggi successivi

Indietro
Elimina profili di connessione
Avanti
Eventi e flussi di dati