Crea repliche vista materializzata

Questo documento descrive come creare repliche di viste materializzate in BigQuery. Puoi utilizzare le repliche delle vista materializzata per creare Dati Amazon Simple Storage Service (Amazon S3) disponibili localmente per i join.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

Autorizzazioni obbligatorie

Concede ruoli IAM (Identity and Access Management) che concedono agli utenti le autorizzazioni necessarie per eseguire ciascuna attività in questo documento.

Per creare repliche vista materializzata, devi disporre di quanto segue Autorizzazioni IAM:

• bigquery.tables.create
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.replicateData
• bigquery.jobs.create

Ciascuno dei seguenti ruoli IAM predefiniti include autorizzazioni necessarie per creare una vista materializzata:

• bigquery.dataEditor
• bigquery.dataOwner
• bigquery.admin

Per ulteriori informazioni Identity and Access Management (IAM) per BigQuery), consulta Introduzione a IAM in BigQuery.

Prerequisiti

Prima di creare una replica della vista materializzata, devi completare quanto segue attività:

1. Crea un set di dati in un che supporta Amazon S3.
2. Crea una tabella Amazon S3 BigLake nel set di dati creato nel passaggio 1. Attiva memorizzazione nella cache dei metadati durante la creazione della tabella.
3. Crea una vista materializzata su nella tabella Amazon S3 BigLake nel set di dati che hai creato Passaggio 1. Puoi anche creare la vista materializzata in un set di dati diverso in una regione che supporta Amazon S3.
4. Autorizza la vista materializzata sul set di dati che contengono le tabelle Amazon S3 BigLake di origine utilizzata nella query che ha creato la vista materializzata.
5. Se hai configurato l'aggiornamento manuale della cache dei metadati per Amazon S3 tabella BigLake, esegui Procedura di sistema BQ.REFRESH_EXTERNAL_METADATA_CACHE per aggiornare la cache dei metadati.
6. Esegui l' Procedura di sistema BQ.REFRESH_MATERIALIZED_VIEW per aggiornare la vista materializzata.

Crea repliche vista materializzata

Per creare repliche delle vista materializzata, utilizza Dichiarazione CREATE MATERIALIZED VIEW AS REPLICA OF:

CREATE MATERIALIZED VIEW PROJECT_ID.BQ_DATASET.REPLICA_NAME
OPTIONS(replication_interval_seconds=REPLICATION_INTERVAL)
AS REPLICA OF PROJECT_ID.S3_DATASET.MATERIALIZED_VIEW_NAME;

Sostituisci quanto segue:

• PROJECT_ID: il nome del tuo progetto in cui vuoi creare la replica della vista materializzata, ad esempio myproject.
• BQ_DATASET: il nome del set di dati BigQuery in cui vuoi creare replica della vista materializzata in, ad esempio bq_dataset. Il set di dati deve trovarsi in un region [regione] che mappa la regione della vista materializzata di origine.
• REPLICA_NAME: il nome del replica della vista materializzata che vuoi creare, ad esempio my_mv_replica.
• REPLICATION_INTERVAL: specifica la frequenza di di replicare i dati dalla vista materializzata di origine alla replica, secondi. Deve essere un valore compreso tra 60 e 3600 inclusi. Il valore predefinito è 300 (5 minuti).
• S3_DATASET: il nome del set di dati contenente la vista materializzata di origine, ad esempio s3_dataset.
• MATERIALIZED_VIEW_NAME: il nome del vista materializzata da replicare, ad esempio my_mv.

L'esempio seguente crea una replica della vista materializzata denominata mv_replica tra bq_dataset:

CREATE MATERIALIZED VIEW `myproject.bq_dataset.mv_replica`
OPTIONS(
  replication_interval_seconds=600
)
AS REPLICA OF `myproject.s3_dataset.my_s3_mv`

Dopo aver creato la replica della vista materializzata, il processo di replica eseguire il polling della vista materializzata di origine per individuare le modifiche e replicare i dati replica della vista materializzata, aggiornando i dati all'intervallo specificato nell'opzione replication_interval_seconds. Se esegui una query sulla replica prima viene completato il primo backfill, ricevi un errore backfill in progress. Puoi esegui una query sui dati nella replica della vista materializzata dopo la prima replica vengono completate.