Gestisci le viste materializzate
Questo documento descrive come gestire le viste materializzate in BigQuery.
La gestione delle viste materializzate in BigQuery include le seguenti operazioni:
- Modificare le viste materializzate
- Elenco delle viste materializzate
- Ottenere informazioni sulle viste materializzate
- Eliminare le viste materializzate
- Aggiornare le visualizzazioni materializzate
Per ulteriori informazioni sulle viste materializzate, consulta quanto segue:
- Introduzione alle viste materializzate
- Creare viste materializzate
- Utilizzare le viste materializzate
- Monitorare le viste materializzate
Prima di iniziare
Concedi ruoli IAM (Identity and Access Management) che concedono agli utenti le autorizzazioni necessarie per eseguire ogni attività in questo documento. Le eventuali autorizzazioni necessarie per eseguire un'attività sono elencate nella sezione "Autorizzazioni obbligatorie" dell'attività.
Modifica viste materializzate
Puoi modificare una vista materializzata tramite la console Google Cloud o lo strumento a riga di comando bq utilizzando il linguaggio DDL (Data Definition Language) con ALTER MATERIALIZED
VIEW
e SET OPTIONS
. Per un elenco delle opzioni della vista materializzata, vedi materialized_view_set_options_list
.
Di seguito è riportato un esempio che imposta enable_refresh
su true
. Modifica in base alle tue esigenze.
Autorizzazioni obbligatorie
Per modificare le viste materializzate, devi disporre delle autorizzazioni IAM bigquery.tables.get
e bigquery.tables.update
.
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per modificare una vista materializzata:
bigquery.dataEditor
bigquery.dataOwner
bigquery.admin
Per ulteriori informazioni su BigQuery Identity and Access Management (IAM), consulta Ruoli e autorizzazioni predefiniti.
SQL
Per modificare una vista materializzata, utilizza
l'istruzione DDL ALTER MATERIALIZED VIEW SET OPTIONS
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
ALTER MATERIALIZED VIEW PROJECT.DATASET.MATERIALIZED_VIEW SET OPTIONS (enable_refresh = true);
Sostituisci quanto segue:
PROJECT
: il nome del progetto che contiene la vista materializzataDATASET
: il nome del set di dati che contiene la vista materializzataMATERIALIZED_VIEW
: il nome della vista materializzata da modificare
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, vedi Eseguire una query interattiva.
bq
Esegui il comando bq update
:
bq update \ --enable_refresh=true \ --refresh_interval_ms= \ PROJECT.DATASET.MATERIALIZED_VIEW
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Elenca viste materializzate
Puoi elencare le viste materializzate tramite la console Google Cloud, lo strumento a riga di comando bq o l'API BigQuery.
Autorizzazioni obbligatorie
Per elencare le viste materializzate in un set di dati, devi disporre dell'autorizzazione IAM bigquery.tables.list
.
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per elencare le viste materializzate in un set di dati:
roles/bigquery.user
roles/bigquery.metadataViewer
roles/bigquery.dataViewer
roles/bigquery.dataOwner
roles/bigquery.dataEditor
roles/bigquery.admin
Per ulteriori informazioni su ruoli e autorizzazioni IAM in IAM, consulta Ruoli e autorizzazioni predefiniti.
La procedura per elencare le viste materializzate è identica a quella per elencare le tabelle. Per elencare le viste materializzate in un set di dati:
Console
Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.
Scorri l'elenco per visualizzare le tabelle nel set di dati. Le tabelle, le viste e le viste materializzate sono identificate da icone diverse.
bq
Esegui il comando bq ls
. Il flag --format
può essere usato per controllare
l'output. Se stai elencando le viste materializzate in un progetto diverso da quello predefinito, aggiungi l'ID progetto al set di dati nel seguente formato: project_id:dataset
.
bq ls --format=pretty project_id:dataset
Dove:
- project_id è l'ID progetto.
- dataset è il nome del set di dati.
Quando esegui il comando, il campo Type
mostra il tipo di tabella.
Ad esempio:
+-------------------------+--------------------+----------------------+-------------------+ | tableId | Type | Labels | Time Partitioning | +-------------------------+--------------------+----------------------+-------------------+ | mytable | TABLE | department:shipping | | | mymatview | MATERIALIZED_VIEW | | | +-------------------------+--------------------+----------------------+-------------------+
Esempi:
Inserisci il seguente comando per elencare le viste materializzate nel set di dati mydataset
nel tuo progetto predefinito.
bq ls --format=pretty mydataset
Inserisci il seguente comando per elencare le viste materializzate nel set di dati mydataset
in myotherproject
.
bq ls --format=pretty myotherproject:mydataset
API
Per elencare le viste materializzate utilizzando l'API, chiama il metodo tables.list
.
Go
Prima di provare questo esempio, segui le istruzioni per la configurazione di Go nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Go di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Ottieni informazioni sulle viste materializzate
Puoi ottenere informazioni su una vista materializzata utilizzando SQL, lo strumento a riga di comando bq o l'API BigQuery.
Autorizzazioni obbligatorie
Per eseguire query sulle informazioni su una vista materializzata, devi disporre delle seguenti autorizzazioni di Identity and Access Management (IAM):
bigquery.tables.get
bigquery.tables.list
bigquery.routines.get
bigquery.routines.list
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni precedenti:
roles/bigquery.metadataViewer
roles/bigquery.dataViewer
roles/bigquery.admin
Per ulteriori informazioni sulle autorizzazioni BigQuery, consulta Controllo dell'accesso con IAM.
Per ottenere informazioni su una vista materializzata, incluse eventuali replica della vista materializzata dipendenti:
SQL
Per ottenere informazioni sulle viste materializzate, esegui una query sulla vista INFORMATION_SCHEMA.TABLES
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
SELECT * FROM PROJECT_ID.DATASET_ID.INFORMATION_SCHEMA.TABLES WHERE table_type = 'MATERIALIZED VIEW';
Sostituisci quanto segue:
PROJECT_ID
: il nome del progetto che contiene le viste materializzateDATASET_ID
: il nome del set di dati che contiene le viste materializzate
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, vedi Eseguire una query interattiva.
bq
Usa il comando bq show
:
bq show --project=project_id --format=prettyjson dataset.materialized_view
Sostituisci quanto segue:
- project_id: l'ID progetto. Devi includere questo flag solo per ottenere informazioni su una vista materializzata in un progetto diverso da quello predefinito.
- dataset: il nome del set di dati che contiene la vista materializzata.
- materialized_view: il nome della vista materializzata su cui vuoi ottenere informazioni.
Esempio:
Inserisci il seguente comando per mostrare le informazioni sulla vista materializzata my_mv
nel set di dati report_views
del progetto myproject
.
bq show --project=myproject --format=prettyjson report_views.my_mv
API
Per ottenere informazioni sulla vista materializzata utilizzando l'API, chiama il metodo tables.get
.
Elimina viste materializzate
Puoi eliminare una vista materializzata tramite la console Google Cloud, lo strumento a riga di comando bq o l'API.
L'eliminazione di una vista materializzata elimina anche le eventuali autorizzazioni associate a questa vista materializzata. Quando ricrei una vista materializzata eliminata, devi anche riconfigurare manualmente le eventuali autorizzazioni di accesso associate in precedenza.
Autorizzazioni obbligatorie
Per eliminare le viste materializzate, devi disporre dell'autorizzazione IAM bigquery.tables.delete
.
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per eliminare una vista materializzata:
bigquery.dataEditor
bigquery.dataOwner
bigquery.admin
Per ulteriori informazioni su BigQuery Identity and Access Management (IAM), consulta Ruoli e autorizzazioni predefiniti.
SQL
Per eliminare una vista materializzata, utilizza
l'istruzione DDL DROP MATERIALIZED VIEW
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
DROP MATERIALIZED VIEW PROJECT.DATASET.MATERIALIZED_VIEW;
Sostituisci quanto segue:
PROJECT
: il nome del progetto che contiene la vista materializzataDATASET
: il nome del set di dati che contiene la vista materializzataMATERIALIZED_VIEW
: il nome della vista materializzata che vuoi eliminare
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, vedi Eseguire una query interattiva.
bq
Utilizza il comando bq rm
per eliminare la vista materializzata.
API
Richiama il metodo tables.delete
e specifica i valori per i
parametri projectId
, datasetId
e tableId
:
- Assegna il parametro
projectId
all'ID progetto. - Assegna il parametro
datasetId
all'ID del set di dati. - Assegna il parametro
tableId
all'ID tabella della vista materializzata che stai eliminando.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Aggiorna viste materializzate
L'aggiornamento di una vista materializzata aggiorna i risultati memorizzati nella cache della vista per riflettere lo stato corrente delle tabelle di base. Se possibile, BigQuery legge solo le modifiche dall'ultimo aggiornamento della vista. Sebbene i flussi di dati recenti possano non essere inclusi durante un aggiornamento della vista materializzata, le query leggono sempre i dati trasmessi in flusso indipendentemente dal fatto che venga utilizzata o meno una vista materializzata. In questa sezione viene descritto come effettuare le seguenti operazioni:
Aggiornamento automatico
Per impostazione predefinita, le viste materializzate vengono aggiornate automaticamente entro 5 minuti da una modifica alle tabelle di base, ma non più di ogni 30 minuti. Esempi di modifiche includono l'inserimento o l'eliminazione di righe.
Puoi utilizzare la quota limite di aggiornamento per gestire i costi e le prestazioni delle query delle viste materializzate. Indipendentemente dal limite di aggiornamento, le viste materializzate restituiscono sempre dati aggiornati.
L'aggiornamento automatico può essere attivato o disattivato in qualsiasi momento. Il job di aggiornamento automatico viene eseguito dall'account di servizio bigquery-adminbot@system.gserviceaccount.com
e compare nella cronologia del job della vista materializzata.
Attiva e disattiva l'aggiornamento automatico
Per disattivare l'aggiornamento automatico quando crei una tabella, imposta enable_refresh
su
false
.
CREATE MATERIALIZED VIEW PROJECT.DATASET.MATERIALIZED_VIEW PARTITION BY RANGE_BUCKET(column_name, buckets) OPTIONS (enable_refresh = false) AS SELECT ...
Per una vista materializzata esistente, puoi modificare il valore enable_refresh
utilizzando ALTER MATERIALIZED VIEW
.
ALTER MATERIALIZED VIEW PROJECT.DATASET.MATERIALIZED_VIEW SET OPTIONS (enable_refresh = true);
Impostare la quota limite
Puoi configurare una quota limite per la frequenza di esecuzione dell'aggiornamento automatico. Per impostazione predefinita, le viste materializzate vengono aggiornate non più di 30 minuti.
La quota limite di aggiornamento può essere modificata in qualsiasi momento.
Per impostare una quota limite di aggiornamento quando crei una vista materializzata, imposta refresh_interval_minutes
in DDL (o refresh_interval_ms
nello strumento a riga di comando API e bq) sul valore desiderato.
CREATE MATERIALIZED VIEW PROJECT.DATASET.MATERIALIZED_VIEW OPTIONS (enable_refresh = true, refresh_interval_minutes = 60) AS SELECT ...
Analogamente, puoi impostare la quota limite quando modifichi una tabella. In questo esempio si presuppone che tu abbia già abilitato l'aggiornamento automatico e voglia modificare la quota limite:
ALTER MATERIALIZED VIEW PROJECT.DATASET.MATERIALIZED_VIEW SET OPTIONS (refresh_interval_minutes = 60);
La quota limite minima di aggiornamento è 1 minuto. La quota limite massima di aggiornamento è di 7 giorni.
Puoi eseguire un aggiornamento manuale di una vista materializzata in qualsiasi momento e la relativa tempistica non è soggetta alla quota limite.
Massimo sforzo
L'aggiornamento automatico viene eseguito secondo il criterio del "best effort". BigQuery tenta di avviare un aggiornamento entro 5 minuti da una modifica alla tabella di base (se l'aggiornamento precedente è stato eseguito prima di 30 minuti), ma non garantisce che l'aggiornamento verrà avviato in quel momento né garantisce quando verrà completato.
L'aggiornamento automatico viene trattato in modo simile a una query con priorità batch. Se al momento il progetto della vista materializzata non ha la capacità necessaria, l'aggiornamento viene ritardato. Se il progetto contiene molte viste il cui aggiornamento risulta costoso, ogni singola vista potrebbe subire un ritardo significativo rispetto alle tabelle di base.
Aggiornamento manuale
Puoi aggiornare manualmente una vista materializzata in qualsiasi momento.
Autorizzazioni obbligatorie
Per aggiornare manualmente le viste materializzate, devi disporre delle autorizzazioni IAM bigquery.tables.getData
,
bigquery.tables.update
e bigquery.tables.updateData
.
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per aggiornare manualmente una vista materializzata:
bigquery.dataEditor
bigquery.dataOwner
bigquery.admin
Per ulteriori informazioni su BigQuery Identity and Access Management (IAM), consulta Ruoli e autorizzazioni predefiniti.
Per aggiornare i dati nella vista materializzata, chiama la procedura di sistema BQ.REFRESH_MATERIALIZED_VIEW
. Quando viene chiamata questa procedura, BigQuery identifica le modifiche apportate nelle tabelle di base e le applica alla vista materializzata. La query da eseguire BQ.REFRESH_MATERIALIZED_VIEW
termina al termine dell'aggiornamento.
CALL BQ.REFRESH_MATERIALIZED_VIEW('PROJECT.DATASET.MATERIALIZED_VIEW');
Monitora le viste materializzate
Puoi ottenere informazioni sulle viste materializzate e sui job di aggiornamento delle viste materializzate utilizzando l'API BigQuery. Per maggiori informazioni, consulta Monitorare le viste materializzate.