Gestione del backfill per gli oggetti di un flusso

Uno stream in Datastream può eseguire il backfill dei dati storici, nonché trasmettere le modifiche in corso in una destinazione. Durante la creazione di uno stream, hai configurato le informazioni sul database di origine per lo stream.

Se hai selezionato la casella di controllo Esegui il backfill dei dati storici, Datastream trasmetterà in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

Se non hai selezionato questa casella di controllo, Datastream trasmetterà in streaming solo le modifiche ai dati. Per fare in modo che Datastream trasmetta un snapshot di tutti i dati esistenti dall'origine alla destinazione, devi avviare il backfill per gli oggetti che contengono questi dati. Gli oggetti sono sotto forma di schemi, tabelle e colonne di database.

Un altro motivo per avviare il backfill di un oggetto è se i dati non sono sincronizzati tra l'origine e la destinazione. Ad esempio, un utente può eliminare inavvertitamente i dati nella destinazione, che vengono quindi persi. In questo caso, l'avvio del backfill per l'oggetto funge da "meccanismo di reimpostazione" perché tutti i dati vengono trasmessi in streaming alla destinazione in un solo passaggio. Di conseguenza, i dati vengono sincronizzati tra l'origine e la destinazione.

Dopo aver avviato il backfill di un oggetto, puoi interromperlo. Nell'esempio precedente, l'utente modifica lo schema del database e lo schema o i dati vengono danneggiati. Non vuoi che questo schema o questi dati vengano trasmessi in streaming alla destinazione, quindi interrompi il backfill per l'oggetto.

Puoi anche interrompere il backfill per gli oggetti a fini di bilanciamento del carico. Datastream può eseguire più backfill in parallelo. Questa operazione potrebbe applicare un carico supplementare sull'origine. Se il carico è elevato, interrompi il backfill per gli oggetti e poi avvialo uno per uno.

Stati degli oggetti

I vari stati nel ciclo di vita dell'avvio e dell'interruzione del backfill per un oggetto includono:

  • Nessuno stato (rappresentato nell'interfaccia utente come -): i motivi per cui un oggetto riceve questo stato includono:
    • Lo stream non è stato avviato.
    • La casella di controllo Esegui il backfill dei dati storici non è selezionata (quindi il backfill è definito come manuale).
    • L'oggetto viene escluso esplicitamente dal backfill automatico.

    • Lo stream è configurato per includere le tabelle future. In questo caso, quando vengono aggiunte nuove tabelle all'origine, non viene creata alcuna attività di backfill automatico per queste tabelle (in quanto in genere le nuove tabelle non contengono dati "storici" da eseguire il backfill).

      Per ulteriori informazioni, consulta Configurare le informazioni sul database di origine per lo stream.

  • Pending: Il backfill non è ancora iniziato per l'oggetto.
  • Active: Il backfill dell'oggetto è in corso.
  • Completed: Il backfill dell'oggetto è stato completato.
  • Stopped: Il backfill è stato interrotto per l'oggetto. Se il backfill viene riavviato per l'oggetto, Datastream trasmette in streaming tutti i dati esistenti associati all'oggetto dall'origine alla destinazione.
  • Failed: Il backfill non è riuscito per l'oggetto e deve essere riavviato.

Avvia backfill

  1. Vai alla pagina Stream nella Google Cloud Console.

    Vai alla pagina Stream

  2. Fai clic sullo stream contenente gli oggetti per i quali vuoi avviare il backfill.

  3. Fai clic sulla scheda OGGETTI.

  4. Seleziona la casella di controllo per ogni oggetto per il quale vuoi avviare il backfill.

  5. Fai clic su INIZIA BACKFILL.

  6. Se hai selezionato un solo oggetto, nella finestra di dialogo fai clic su INIZIA BACKFILL OGGETTO. In caso contrario, se hai selezionato più oggetti, fai clic su INIZIA BACKFILL DEGLI OGGETTI.

    Datastream avvierà il backfill per gli oggetti selezionati e lo stato di ciascun oggetto passerà da Pending a Active e poi a Completed. Quando lo stato di un oggetto è Completed, significa che Datastream ha letto tutti i dati dell'oggetto, ma il caricamento dei dati nella destinazione potrebbe essere ancora in corso.

Arresta backfill

  1. Vai alla pagina Stream nella Google Cloud Console.

    Vai alla pagina Stream

  2. Fai clic sullo stream contenente gli oggetti per i quali vuoi interrompere il backfill.

  3. Fai clic sulla scheda OGGETTI.

  4. Seleziona la casella di controllo per ogni oggetto per cui vuoi interrompere il backfill.

  5. Fai clic su INTERRUPI BACKFILL.

  6. Se hai selezionato un solo oggetto, nella finestra di dialogo fai clic su INTERRUPI IL BACKFILL DELL'OGGETTO. In caso contrario, se hai selezionato più oggetti, fai clic su INTERRUPI COMPILAZIONE DI BACKFILL DEGLI OGGETTI.

    Datastream interromperà il backfill per gli oggetti selezionati e lo stato di ciascun oggetto diventerà Stopped.

    Quando un oggetto ha questo stato, il backfill viene interrotto per l'oggetto. Se il backfill viene riavviato per l'oggetto, Datastream trasmette in streaming tutti i dati esistenti associati all'oggetto dall'origine alla destinazione.

Passaggi successivi