Creare e gestire i flussi di modifiche

Questa pagina descrive come creare, modificare e visualizzare gli stream di variazioni Spanner per i database con dialetto Google SQL e PostgreSQL. Per scoprire di più sui flussi di modifiche, consulta Informazioni sui flussi di modifiche.

Poiché gli stream di modifiche sono oggetti dello schema, li crei e li gestisci tramite gli stessi aggiornamenti dello schema basati su DDL utilizzati per qualsiasi altro tipo di attività di definizione del database, come la creazione di tabelle o l'aggiunta di indici.

Spanner avvia un'operazione a lunga esecuzione dopo che hai inviato un'istruzione DDL che modifica lo schema, incluse quelle utilizzate per creare, modificare o eliminare i flussi di modifiche. Un nuovo stream di modifiche o uno modificato inizia a monitorare le colonne o le tabelle specificate dalla nuova configurazione al termine di questa operazione a lungo termine.

Crea un flusso di modifiche

Per creare un flusso di modifiche, devi fornire il nome e gli oggetti dello schema monitorati: l'intero database o un elenco di tabelle e colonne specifiche. Facoltativamente, puoi configurare uno stream di modifiche con uno dei seguenti elementi:

GoogleSQL

La sintassi DDL per creare un flusso di modifiche utilizzando GoogleSQL è la seguente:

CREATE CHANGE STREAM CHANGE_STREAM_NAME
  [FOR column_or_table_watching_definition[, ... ] ]
  [
    OPTIONS (
      retention_period = timespan,
      value_capture_type = type,
      exclude_ttl_deletes = boolean,
      exclude_insert = boolean,
      exclude_update = boolean,
      exclude_delete = boolean,
      allow_txn_exclusion = boolean
    )
  ]

PostgreSQL

La sintassi DDL per la creazione di un flusso di modifiche utilizzando PostgreSQL è la seguente:

CREATE CHANGE STREAM CHANGE_STREAM_NAME
  [FOR column_or_table_watching_definition[, ... ] ]
  [
    WITH (
      retention_period = timespan,
      value_capture_type = type,
      exclude_ttl_deletes = boolean,
      exclude_insert = boolean,
      exclude_update = boolean,
      exclude_delete = boolean,
      allow_txn_exclusion = boolean
    )
  ]

Un nuovo stream di modifiche inizia a monitorare gli oggetti dello schema assegnati non appena viene completata l'operazione a lungo termine che lo ha creato.

Gli esempi riportati di seguito illustrano la creazione di stream di modifiche con varie configurazioni.

Guardare un intero database

Per creare un flusso di modifiche che monitori ogni modifica dei dati eseguita nelle tabelle di un database, utilizza la parola chiave ALL:

CREATE CHANGE STREAM EverythingStream
FOR ALL;

La configurazione ALL include implicitamente tutte le tabelle e le colonne di dati future del database, non appena vengono create. Non include viste, tabelle dello schema di informazioni o altri oggetti oltre alle normali tabelle di dati.

Guardare tabelle specifiche

Per limitare l'ambito di un flusso di modifiche a tabelle specifiche anziché a un intero database, specifica un elenco di una o più tabelle:

CREATE CHANGE STREAM SingerAlbumStream
FOR Singers, Albums;

Spanner aggiorna automaticamente gli stream di modifiche che monitorano intere tabelle per riflettere eventuali modifiche dello schema che interessano queste tabelle, ad esempio colonne aggiunte o eliminate.

Monitorare colonne specifiche

Utilizza la sintassi table(column_1[, column_2, ...]) per monitorare le modifiche apportate a una o più colonne non chiave specifiche all'interno delle tabelle che assegni un nome:

CREATE CHANGE STREAM NamesAndTitles
FOR Singers(FirstName, LastName), Albums(Title);

Non puoi specificare le colonne della chiave primaria qui perché ogni stream di modifiche monitora sempre le chiavi primarie di ogni tabella che controlla. In questo modo, ogni record di modifica dei dati può identificare la riga modificata in base alla relativa chiave primaria.

Visualizzare tabelle e colonne in un unico stream

Puoi combinare la sintassi di monitoraggio delle tabelle e delle colonne dei due esempi precedenti in un unico stream di modifiche:

CREATE CHANGE STREAM NamesAndAlbums
FOR Singers(FirstName, LastName), Albums;

Specifica un periodo di conservazione più lungo

Per specificare un periodo di conservazione dei dati degli stream di variazioni superiore a quello predefinito di un giorno, imposta retention_period su un periodo di massimo una settimana, espresso in ore (h) o giorni (d).

Ecco due esempi:

GoogleSQL 

CREATE CHANGE STREAM LongerDataRetention
FOR ALL
OPTIONS ( retention_period = '36h' );

CREATE CHANGE STREAM MaximumDataRetention
FOR ALL
OPTIONS ( retention_period = '7d' );

PostgreSQL 

CREATE CHANGE STREAM LongerDataRetention
FOR ALL
WITH ( retention_period = '36h' );

CREATE CHANGE STREAM MaximumDataRetention
FOR ALL
WITH ( retention_period = '7d' );

Specificare un tipo di acquisizione del valore diverso

Per specificare un tipo di acquisizione del valore dello stream di variazioni diverso da OLD_AND_NEW_VALUES, imposta value_capture_type su NEW_VALUES o NEW_ROW, come mostrato negli esempi seguenti:

GoogleSQL 

CREATE CHANGE STREAM NewRowChangeStream
FOR ALL
OPTIONS ( value_capture_type = 'NEW_ROW' );

CREATE CHANGE STREAM NewValuesChangeStream
FOR ALL
OPTIONS ( value_capture_type = 'NEW_VALUES' );

PostgreSQL 

CREATE CHANGE STREAM NewRowChangeStream
FOR ALL
WITH ( value_capture_type = 'NEW_ROW' );

CREATE CHANGE STREAM NewValuesChangeStream
FOR ALL
WITH ( value_capture_type = 'NEW_VALUES' );

Filtrare le eliminazioni basate su TTL

Puoi filtrare le eliminazioni basate su TTL dall'ambito del tuo stream di modifiche utilizzando il filtro exclude_ttl_deletes.

Per ulteriori informazioni sul funzionamento di questo filtro, consulta Filtro per le eliminazioni in base al tempo di vita.

GoogleSQL

Per creare un stream di variazioni con il filtro delle eliminazioni basate su TTL, esegui il seguente esempio:

CREATE CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
OPTIONS (exclude_ttl_deletes = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo stream di variazioni

Il seguente esempio crea un flusso di modifiche denominato NewFilterChangeStream che esclude tutte le eliminazioni basate su TTL:

CREATE CHANGE STREAM NewFilterChangeStream FOR ALL
OPTIONS (exclude_ttl_deletes = true)

PostgreSQL

Per creare un stream di variazioni con il filtro delle eliminazioni basate su TTL, esegui il seguente esempio:

CREATE CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
WITH (exclude_ttl_deletes = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo stream di variazioni

Il seguente esempio crea un flusso di modifiche denominato NewFilterChangeStream che esclude tutte le eliminazioni basate su TTL:

CREATE CHANGE STREAM NewFilterChangeStream FOR ALL
WITH (exclude_ttl_deletes = true)

Per aggiungere o rimuovere il filtro delle eliminazioni basate su TTL da un stream di variazioni esistente, consulta Modificare il filtro delle eliminazioni basate su TTL. Puoi confermare i filtri del flusso di modifiche visualizzando le definizioni del flusso di modifiche come DDL.

Filtra per tipo di modifica della tabella

Filtra una o più di queste modifiche alla tabella dall'ambito del tuo stream di modifiche utilizzando le seguenti opzioni di filtro disponibili:

  • exclude_insert: escludi tutte le modifiche alla tabella INSERT
  • exclude_update: escludi tutte le modifiche alla tabella UPDATE
  • exclude_delete: escludi tutte le modifiche alla tabella DELETE

Per ulteriori informazioni sul funzionamento di questi filtri, consulta Filtri per tipo di modifica della tabella.

GoogleSQL

Per creare uno stream di modifiche con uno o più filtri per il tipo di modifica della tabella, esegui quanto segue:

CREATE CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
OPTIONS (MOD_TYPE_FILTER_NAME = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo stream di variazioni
  • MOD_TYPE_FILTER_NAME: il filtro che vuoi aggiungere: exclude_insert, exclude_update o exclude_delete. Se aggiungi più di un filtro alla volta, separali con una virgola.

L'esempio seguente crea uno stream di modifiche denominato NewFilterChangeStream che esclude i tipi di modifica delle tabelle INSERT e UPDATE:

CREATE CHANGE STREAM NewFilterChangeStream FOR ALL
OPTIONS (exclude_insert = true, exclude_update = true)

PostgreSQL

Per creare uno stream di modifiche con uno o più filtri per il tipo di modifica della tabella, esegui quanto segue:

CREATE CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
WITH (MOD_TYPE_FILTER_NAME = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo stream di variazioni
  • MOD_TYPE_FILTER_NAME: il filtro che vuoi aggiungere: exclude_insert, exclude_update o exclude_delete. Se aggiungi più di un filtro alla volta, separali con una virgola.

L'esempio seguente crea uno stream di modifiche denominato NewFilterChangeStream che esclude i tipi di modifica delle tabelle INSERT e UPDATE:

CREATE CHANGE STREAM NewFilterChangeStream FOR ALL
WITH (exclude_insert = true, exclude_update = true)

Per aggiungere o rimuovere un filtro per tipo di modifica della tabella da un stream di modifiche esistente, consulta Modificare il filtro in base al tipo di modifica della tabella. Puoi verificare quali filtri di tipo di modifica della tabella esistono per il tuo flusso di modifiche visualizzando le definizioni del flusso di modifiche come DDL.

Attivare l'esclusione dei record a livello di transazione

Puoi attivare gli stream di variazioni per escludere i record da transazioni di scrittura specificate impostando l'opzione allow_txn_exclusion quando crei un stream di variazioni o modificando uno esistente.

Per ulteriori informazioni sul funzionamento di questa opzione, consulta la sezione Esclusione dei record a livello di transazione.

GoogleSQL

Per creare uno stream di modifiche che può escludere i record da transazioni di scrittura specificate, esegui quanto segue:

CREATE CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
OPTIONS (allow_txn_exclusion = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo flusso di modifiche

L'esempio seguente crea uno stream di modifiche denominato NewChangeStream che può escludere i record da transazioni di scrittura specifiche:

CREATE CHANGE STREAM NewChangeStream FOR ALL
OPTIONS (allow_txn_exclusion = true)

PostgreSQL

Per creare uno stream di modifiche che può escludere i record da transazioni di scrittura specificate, esegui quanto segue:

CREATE CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
WITH (allow_txn_exclusion = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo flusso di modifiche

L'esempio seguente crea uno stream di modifiche denominato NewChangeStream che può escludere i record da transazioni di scrittura specifiche:

CREATE CHANGE STREAM NewChangeStream FOR ALL
WITH (allow_txn_exclusion = true)

Per attivare o disattivare l'esclusione dei record a livello di transazione da un stream di variazioni esistente, consulta Modificare l'esclusione dei record a livello di transazione. Per controllare l'impostazione di questa opzione, consulta Visualizzare le definizioni degli stream di modifiche come DDL.

Specifica una transazione di scrittura da escludere dagli stream di modifiche

Per specificare una transazione di scrittura da escludere dagli stream di variazioni, devi impostare il parametro exclude_txn_from_change_streams su true. I seguenti esempi di codice mostrano come specificare una transazione di scrittura da escludere dagli stream di variazioni utilizzando la libreria client.

Vai 


import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/spanner"
)

// readWriteTxnExcludedFromChangeStreams executes the insert and update DMLs on
// Singers table excluded from tracking change streams with ddl option
// allow_txn_exclusion = true.
func readWriteTxnExcludedFromChangeStreams(w io.Writer, db string) error {
	// db = `projects/<project>/instances/<instance-id>/database/<database-id>`
	ctx := context.Background()
	client, err := spanner.NewClient(ctx, db)
	if err != nil {
		return fmt.Errorf("readWriteTxnExcludedFromChangeStreams.NewClient: %w", err)
	}
	defer client.Close()

	_, err = client.ReadWriteTransactionWithOptions(ctx, func(ctx context.Context, txn *spanner.ReadWriteTransaction) error {
		stmt := spanner.Statement{
			SQL: `INSERT Singers (SingerId, FirstName, LastName)
					VALUES (111, 'Virginia', 'Watson')`,
		}
		_, err := txn.Update(ctx, stmt)
		if err != nil {
			return fmt.Errorf("readWriteTxnExcludedFromChangeStreams.Update: %w", err)
		}
		fmt.Fprintln(w, "New singer inserted.")
		stmt = spanner.Statement{
			SQL: `UPDATE Singers SET FirstName = 'Hi' WHERE SingerId = 111`,
		}
		_, err = txn.Update(ctx, stmt)
		if err != nil {
			return fmt.Errorf("readWriteTxnExcludedFromChangeStreams.Update: %w", err)
		}
		fmt.Fprint(w, "Singer first name updated.")
		return nil
	}, spanner.TransactionOptions{ExcludeTxnFromChangeStreams: true})
	if err != nil {
		return err
	}
	return nil
}

Java 

static void readWriteTxnExcludedFromChangeStreams(DatabaseClient client) {
  // Exclude the transaction from allowed tracking change streams with alloww_txn_exclusion=true.
  // This exclusion will be applied to all the individual operations inside this transaction.
  client
      .readWriteTransaction(Options.excludeTxnFromChangeStreams())
      .run(
          transaction -> {
            transaction.executeUpdate(
                Statement.of(
                    "INSERT Singers (SingerId, FirstName, LastName)\n"
                        + "VALUES (1341, 'Virginia', 'Watson')"));
            System.out.println("New singer inserted.");

            transaction.executeUpdate(
                Statement.of("UPDATE Singers SET FirstName = 'Hi' WHERE SingerId = 111"));
            System.out.println("Singer first name updated.");

            return null;
          });
}

Modificare un flusso di modifiche

Per modificare la configurazione di uno stream di modifiche, utilizza un'istruzione ALTER CHANGE STREAM DDL. Utilizza una sintassi simile a CREATE CHANGE STREAM. Puoi cambiare le colonne monitorate da uno stream o la durata del relativo periodo di conservazione dei dati. Puoi anche sospendere del tutto la visualizzazione, mantenendo al contempo i record delle modifiche dei dati.

Modificare gli elementi monitorati da un flusso di modifiche

Questo esempio aggiunge l'intera tabella Songs allo stream di modifiche NamesAndAlbums configurato in precedenza:

ALTER CHANGE STREAM NamesAndAlbums
SET FOR Singers(FirstName, LastName), Albums, Songs;

Spanner sostituisce il comportamento dello stream di modifiche denominato con la nuova configurazione al termine dell'operazione a lungo termine che aggiorna la definizione dello stream di modifiche all'interno dello schema del database.

Modificare il periodo di conservazione dei dati di un flusso di modifiche

Per modificare il periodo di tempo per cui un flusso di modifiche conserva i propri record interni, imposta retention_period in un'istruzione DDL ALTER CHANGE STREAM.

Questo esempio regola il periodo di conservazione dei dati in base allo stream di variazioni NamesAndAlbums creato in precedenza:

GoogleSQL 

ALTER CHANGE STREAM NamesAndAlbums
SET OPTIONS ( retention_period = '36h' );

PostgreSQL 

ALTER CHANGE STREAM NamesAndAlbums
SET ( retention_period = '36h' );

Modificare il tipo di acquisizione valore di un flusso di variazioni

Per modificare il tipo di acquisizione dei valori di uno stream di modifiche, imposta la clausola value_capture_type in un'istruzione DDL ALTER CHANGE STREAM.

Questo esempio modifica il tipo di acquisizione del valore in NEW_VALUES.

GoogleSQL 

ALTER CHANGE STREAM NamesAndAlbums
SET OPTIONS ( value_capture_type = 'NEW_VALUES' );

PostgreSQL 

ALTER CHANGE STREAM NamesAndAlbums
SET ( value_capture_type = 'NEW_VALUES' );

Modificare il filtro delle eliminazioni basate su TTL

Per modificare il filtro Eliminazioni basate su TTL per un stream di modifiche, imposta il filtro exclude_ttl_deletes in un'istruzione DDL ALTER CHANGE STREAM. Puoi utilizzarla per aggiungere il filtro ai tuoi stream di modifiche esistenti o rimuoverlo.

Per ulteriori informazioni sul funzionamento di questi filtri, consulta Filtro Eliminazioni in base al tempo di vita.

Aggiungere il filtro delle eliminazioni basate su TTL a uno stream di modifiche esistente

GoogleSQL

Per aggiungere il filtro delle eliminazioni basate su TTL a uno stream di modifiche esistente, esegui il seguente comando per impostare il filtro su true:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET OPTIONS (exclude_ttl_deletes = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del stream di variazioni esistente

Nell'esempio seguente, il filtro exclude_ttl_deletes viene aggiunto a un stream di modifiche esistente denominato NewFilterChangeStream che esclude tutte le eliminazioni basate su TTL:

ALTER CHANGE STREAM NewFilterChangeStream FOR ALL
SET OPTIONS (exclude_ttl_deletes = true)

Ciò esclude tutte le eliminazioni future basate su TTL dal flusso di modifiche.

PostgreSQL

Per aggiungere il filtro delle eliminazioni basate su TTL a uno stream di modifiche esistente, esegui il seguente comando per impostare il filtro su true:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET (exclude_ttl_deletes = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del stream di variazioni esistente

Nell'esempio seguente, il filtro exclude_ttl_deletes viene aggiunto a un stream di modifiche esistente denominato NewFilterChangeStream che esclude tutte le eliminazioni basate su TTL:

ALTER CHANGE STREAM NewFilterChangeStream FOR ALL
SET (exclude_ttl_deletes = true)

Ciò esclude tutte le eliminazioni future basate su TTL dal flusso di modifiche.

Rimuovere il filtro delle eliminazioni basate su TTL da uno stream di modifiche esistente

GoogleSQL

Per rimuovere il filtro delle eliminazioni basate su TTL da uno stream di modifiche esistente, esegui quanto segue per impostare il filtro su false:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET OPTIONS (exclude_ttl_deletes = false)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo stream di variazioni

Nell'esempio seguente, il filtro exclude_ttl_deletes viene rimosso da un stream di modifiche esistente chiamato NewFilterChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream FOR ALL
SET OPTIONS (exclude_ttl_deletes = false)

Sono incluse tutte le eliminazioni future basate su TTL nel flusso di modifiche.

Puoi anche impostare il filtro su null per rimuovere il filtro delle eliminazioni basate su TTL.

PostgreSQL

Per rimuovere il filtro delle eliminazioni basate su TTL da uno stream di modifiche esistente, esegui quanto segue per impostare il filtro su false:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET (exclude_ttl_deletes = false)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del nuovo stream di variazioni

Nell'esempio seguente, il filtro exclude_ttl_deletes viene rimosso da un stream di modifiche esistente chiamato NewFilterChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream FOR ALL
SET (exclude_ttl_deletes = false)

Sono incluse tutte le eliminazioni future basate su TTL nel flusso di modifiche.

Puoi anche impostare il filtro su null per rimuovere il filtro delle eliminazioni basate su TTL.

Modificare il filtro in base al tipo di modifica della tabella

Per modificare i filtri dei tipi di modifica della tabella per uno stream di modifiche, imposta il tipo di filtro in un'istruzione DDL ALTER CHANGE STREAM. Puoi utilizzarla per aggiungere un nuovo filtro o rimuovere un filtro esistente dallo stream delle modifiche.

Aggiungere un filtro per tipo di modifica della tabella a uno stream di modifiche esistente

GoogleSQL

Per aggiungere uno o più nuovi filtri per i tipi di modifica della tabella a un stream di variazioni esistente, esegui quanto segue per impostare il filtro su true:

ALTER CHANGE STREAM CHANGE_STREAM_NAME
SET OPTIONS (MOD_TYPE_FILTER_NAME = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: sostituisci con il nome del stream di modifiche esistente
  • MOD_TYPE_FILTER_NAME: sostituisci con il filtro che vuoi aggiungere: exclude_insert, exclude_update o exclude_delete. Se aggiungi più di un filtro alla volta, separali con una virgola.

Nell'esempio seguente, il filtro exclude_delete viene aggiunto a un stream di modifiche esistente chiamato NewFilterChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream
SET OPTIONS (exclude_delete = true)

PostgreSQL

Per aggiungere uno o più nuovi filtri per i tipi di modifica della tabella a un stream di variazioni esistente, esegui quanto segue per impostare il filtro su true:

ALTER CHANGE STREAM CHANGE_STREAM_NAME
SET (MOD_TYPE_FILTER_NAME = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: sostituisci con il nome del stream di modifiche esistente
  • MOD_TYPE_FILTER_NAME: sostituisci con il filtro che vuoi aggiungere: exclude_insert, exclude_update o exclude_delete. Se aggiungi più di un filtro alla volta, separali con una virgola.

Nell'esempio seguente, il filtro exclude_delete viene aggiunto a un stream di variazioni esistente chiamato NewFilterChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream
SET (exclude_delete = true)

Rimuovere un filtro per tipo di modifica della tabella da un flusso di modifiche esistente

GoogleSQL

Per rimuovere uno o più filtri di tipo di modifica della tabella esistenti nel stream di variazioni, esegui quanto segue per impostare il filtro su false:

ALTER CHANGE STREAM CHANGE_STREAM_NAME
SET OPTIONS (MOD_TYPE_FILTER_NAME = false)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: sostituisci con il nome del stream di modifiche esistente
  • MOD_TYPE_FILTER_NAME: sostituisci con il filtro che vuoi rimuovere: exclude_insert, exclude_update o exclude_delete. Se rimuovi più filtri alla volta, separali con una virgola.

Nell'esempio seguente, il filtro exclude_delete viene rimosso da un stream di modifiche esistente chiamato NewFilterChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream
SET OPTIONS (exclude_delete = false)

Puoi anche rimuovere un filtro di modifica della tabella impostando nuovamente il valore predefinito. Per farlo, imposta il valore del filtro su null.

PostgreSQL

Per rimuovere uno o più filtri del tipo di modifica della tabella esistenti nel stream di variazioni, esegui quanto segue per impostare il filtro su false:

ALTER CHANGE STREAM CHANGE_STREAM_NAME
SET (MOD_TYPE_FILTER_NAME = false)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: sostituisci con il nome del stream di modifiche esistente
  • MOD_TYPE_FILTER_NAME: sostituisci con il filtro che vuoi rimuovere: exclude_insert, exclude_update o exclude_delete. Se rimuovi più filtri alla volta, separali con una virgola.

Nell'esempio seguente, il filtro exclude_delete viene rimosso da un stream di modifiche esistente chiamato NewFilterChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream
SET (exclude_delete = false)

Puoi anche rimuovere un filtro di modifica della tabella impostando nuovamente il valore predefinito. Per farlo, imposta il valore del filtro su null.

Modificare il flusso di modifiche per consentire l'esclusione dei record a livello di transazione

Puoi modificare il flusso di variazioni in modo che escluda i record dalle transazioni di scrittura specificate. Per farlo, imposta l'opzione allow_txn_exclusion su true in un'istruzione DDL ALTER CHANGE STREAM. Se non imposti questa opzione o se la imposti su false, lo stream delle modifiche monitora tutte le transazioni di scrittura.

Per ulteriori informazioni sul funzionamento di questa opzione, consulta la sezione Esclusione dei record a livello di transazione.

Attivare l'esclusione dei record a livello di transazione per un flusso di modifiche esistente

GoogleSQL

Per attivare l'esclusione dei record a livello di transazione per un stream di modifiche esistente, esegui quanto segue:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET OPTIONS (allow_txn_exclusion = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del stream di variazioni esistente

Nell'esempio seguente, l'opzione allow_txn_exclusion è attivata su un stream di modifiche esistente, NewAllowedChangeStream:

ALTER CHANGE STREAM NewAllowedChangeStream FOR ALL
SET OPTIONS (allow_txn_exclusion = true)

In questo modo, lo stream delle modifiche può escludere i record dalle transazioni di scrittura specificate.

PostgreSQL

Per attivare l'esclusione dei record a livello di transazione per uno stream di modifiche esistente, esegui quanto segue:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET (allow_txn_exclusion = true)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del stream di variazioni esistente

Nell'esempio seguente, l'opzione allow_txn_exclusion è attivata su un stream di modifiche esistente, NewAllowedChangeStream:

ALTER CHANGE STREAM NewAllowedChangeStream FOR ALL
SET (allow_txn_exclusion = true)

In questo modo, lo stream delle modifiche può escludere i record dalle transazioni di scrittura specificate.

Disattivare l'esclusione dei record a livello di transazione per un flusso di modifiche esistente

GoogleSQL

Per disattivare l'esclusione dei record a livello di transazione in un stream di modifiche esistente, esegui quanto segue:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET OPTIONS (allow_txn_exclusion = false)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del flusso di modifiche

Nel seguente esempio, l'opzione allow_txn_exclusion è disattivata in un stream di modifiche esistente chiamato NewAllowedChangeStream:

ALTER CHANGE STREAM NewFilterChangeStream FOR ALL
SET OPTIONS (allow_txn_exclusion = false)

Il flusso di modifiche monitora tutte le transazioni di scrittura.

PostgreSQL

Per disattivare l'esclusione dei record a livello di transazione in un stream di modifiche esistente, esegui quanto segue:

ALTER CHANGE STREAM CHANGE_STREAM_NAME FOR ALL
SET (allow_txn_exclusion = false)

Sostituisci quanto segue:

  • CHANGE_STREAM_NAME: il nome del flusso di modifiche

Nel seguente esempio, l'opzione allow_txn_exclusion è disattivata in un stream di modifiche esistente chiamato NewAllowedChangeStream:

ALTER CHANGE STREAM NewAllowedChangeStream FOR ALL
SET (allow_txn_exclusion = false)

Il flusso di modifiche monitora tutte le transazioni di scrittura.

Sospendere un flusso di modifiche

Se vuoi che uno stream di modifiche interrompa la sua attività, ma conservi i suoi record interni, almeno per la durata del periodo di conservazione dei dati, puoi modificarlo in modo che non monitori nulla.

Per farlo, esegui un'istruzione DDL ALTER CHANGE STREAM che sostituisca la definizione del flusso di variazioni con la frase speciale DROP FOR ALL. Ad esempio:

ALTER CHANGE STREAM MyStream DROP FOR ALL;

Lo stream continua a esistere nel database, ma non monitora alcun oggetto e non genera ulteriori record di modifica dei dati. I relativi record di variazione esistenti rimangono invariati, in base alle norme sulla conservazione dei dati dello stream.

Per riprendere uno stream sospeso, esegui un'altra istruzione ALTER CHANGE STREAM con la configurazione precedente.

Eliminare un flusso di modifiche

Per eliminare definitivamente un flusso di modifiche, esegui un'istruzione DROP CHANGE STREAM che includa il nome del flusso:

DROP CHANGE STREAM NamesAndAlbums;

Spanner interrompe immediatamente lo stream, lo rimuove dallo schema del database ed elimina i relativi record di modifica dei dati.

Elenca e visualizza gli stream delle modifiche

La console Google Cloud fornisce un'interfaccia web per elencare e esaminare le definizioni degli stream di variazioni di un database. Puoi anche visualizzare la struttura dei flussi di modifiche come istruzioni DDL equivalenti o eseguendo una query sullo schema delle informazioni del database.

Visualizzare gli stream di modifiche con la console Google Cloud

Per visualizzare un elenco degli stream di modifiche di un database e rivedere le relative definizioni:

  1. Visita la pagina delle istanze Spanner della console Google Cloud.

    Apri la pagina delle istanze

  2. Vai all'istanza e al database appropriati.

  3. Fai clic su Cambia stream nel menu di navigazione.

Viene visualizzato un elenco di tutti gli stream di modifiche del database e viene riassunta la configurazione di ciascuno. Se fai clic sul nome di uno stream, vengono visualizzati ulteriori dettagli sulle tabelle e sulle colonne che monitora.

Visualizzare le definizioni degli stream di modifiche come DDL

La visualizzazione dello schema di un database come DDL include le descrizioni di tutti i suoi stream di variazioni, dove vengono visualizzati come istruzioni CREATE CHANGE STREAM.

  • Per farlo dalla console, fai clic sul link Mostra DDL equivalente nella pagina del database nella console Google Cloud.

  • Per farlo dalla riga di comando, utilizza il comando ddl describe di Google Cloud CLI.

Esegui query sullo schema delle informazioni sugli stream di modifiche

Puoi eseguire query direttamente sullo schema delle informazioni di un database in merito ai relativi flussi di modifiche. Le seguenti tabelle contengono i metadati che definiscono i nomi degli stream di modifiche, le tabelle e le colonne monitorate e i relativi periodi di conservazione:

Best practice per i flussi di modifiche

Di seguito sono riportate alcune best practice per la configurazione e la gestione dei flussi di modifiche.

Valuta la possibilità di utilizzare un database di metadati separato

Le modifiche in tempo reale utilizzano un database di metadati per mantenere lo stato interno. Il database dei metadati può essere uguale o diverso da quello che contiene i flussi di modifiche. Ti consigliamo di creare un database separato per lo stoccaggio dei metadati.

Il connettore degli stream di variazioni Spanner richiede autorizzazioni di lettura/scrittura per il database dei metadati. Non è necessario preparare questo database con uno schema; il connettore si occupa di tutto.

L'utilizzo di un database dei metadati separato elimina le complessità che potrebbero sorgere se si consente al connettore di scrivere direttamente nel database dell'applicazione:

  • Se separi il database dei metadati dal database di produzione con il flusso di modifiche, il connettore ha bisogno solo delle autorizzazioni di lettura per il database di produzione.

  • Se limiti il traffico del connettore a un database di metadati distinto, le scritture eseguite dal connettore stesso non vengono incluse negli stream di modifiche di produzione. Ciò è particolarmente importante per i flussi di modifiche che monitorano l'intero database.

Se non viene utilizzato un database separato per archiviare i metadati, consigliamo di monitorare l'impatto della CPU del connettore degli stream di modifiche sulle relative istanze.

Esegui il benchmarking dei nuovi stream di modifiche e ridimensiona se necessario

Prima di aggiungere nuovi stream di modifiche all'istanza di produzione, valuta la possibilità di eseguire il benchmarking di un carico di lavoro realistico su un'istanza di staging con gli stream di modifiche abilitati. In questo modo puoi stabilire se devi aggiungere nodi alla tua istanza per aumentare le sue capacità di calcolo e archiviazione.

Esegui questi test finché le metriche della CPU e dello spazio di archiviazione non si stabilizzano. In condizioni ottimali, l'utilizzo della CPU dell'istanza deve rimanere al di sotto dei valori massimi consigliati e l'utilizzo dello spazio di archiviazione non deve superare il limite dell'istanza.

Utilizzare regioni diverse per il bilanciamento del carico

Quando utilizzi gli stream di variazioni in una configurazione di istanze multiregionali, valuta la possibilità di eseguire le relative pipeline di elaborazione in una regione diversa da quella leader predefinita. In questo modo, il carico dello streaming viene distribuito tra le repliche non leader. Tuttavia, se devi dare la priorità al ritardo di streaming più basso possibile rispetto al bilanciamento del carico, esegui il carico di streaming nella regione leader.

Passaggi successivi