Gestisci i suggerimenti vista materializzata

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Nota: per richiedere l'accesso a questa funzionalità in anteprima, compila il modulo di registrazione pre-GA a Gemini in BigQuery. Potrebbe essere necessaria fino a una settimana dall'accettazione della richiesta fino al momento in cui puoi visualizzare i suggerimenti della vista materializzata. Per fornire feedback o porre domande relative a questa release di anteprima, contatta [e-mail].

Questo documento descrive il funzionamento del motore per suggerimenti della vista materializzata e mostra anche come visualizzare e applicare eventuali suggerimenti della vista materializzata.

Introduzione

Il motore per suggerimenti della vista materializzata di BigQuery può aiutarti a migliorare le prestazioni dei carichi di lavoro e a risparmiare i costi di esecuzione dei carichi di lavoro. Questi suggerimenti si basano sulle caratteristiche di esecuzione delle query storiche degli ultimi 30 giorni.

Le viste materializzate sono viste precalcolate che memorizzano periodicamente nella cache i risultati di una query per aumentare le prestazioni e l'efficienza. Le viste materializzate utilizzano l'ottimizzazione intelligente per riscrivere in modo trasparente le query sulle tabelle di origine in modo da utilizzare le viste materializzate esistenti per migliorare le prestazioni e l'efficienza.

Come funziona il motore per suggerimenti

Il motore per suggerimenti genera quotidianamente suggerimenti per ogni progetto che esegue job di query in BigQuery. I suggerimenti si basano sull'analisi dell'esecuzione del carico di lavoro negli ultimi 30 giorni. Il motore per suggerimenti della vista materializzata cerca i pattern di query ripetitive e calcola gli eventuali risparmi che potrebbero essere apportati se la sottoquery ripetitiva potesse essere spostata in una vista materializzata incrementale. Il motore per suggerimenti tiene conto di eventuali risparmi durante le query e dei costi di manutenzione della vista materializzata. Se questi fattori combinati mostrano un risultato positivo significativo, il motore per suggerimenti fornisce un suggerimento.

Considera l'esempio di query seguente:

WITH revenue   AS
(SELECT l_suppkey as supplier_no,
        sum(l_extendedprice * (1 - l_discount)) as total_revenue
  FROM lineitem
  WHERE
    l_shipdate >= date '1996-01-01'
    AND l_shipdate < date_add(date '1996-01-01', interval 3 MONTH)
  GROUP BY l_suppkey)
SELECT s_suppkey,
      s_name,
      s_address,
      s_phone,
      total_revenue
FROM
supplier,
revenue
WHERE s_suppkey = supplier_no
AND total_revenue =
  (SELECT max(total_revenue)
    FROM revenue)
ORDER BY s_suppkey

Questo esempio di query mostra informazioni sul fornitore principale. La query contiene un'espressione di tabella comune (CTE) denominata revenue, che rappresenta le entrate totali per ogni fornitore (l_suppkey). revenue viene unito alla tabella dei fornitori a condizione che il valore total_revenue del fornitore corrisponda a max(total_revenue) per tutti i fornitori. Di conseguenza, la query calcola le informazioni (l_suppkey, s_name, s_address, s_phone, total_revenue) relative al fornitore con le entrate totali massime.

L'intera query stessa è troppo complicata per essere inserita in una vista materializzata incrementale. Tuttavia, la CTE di supplier è un'aggregazione su una singola tabella, un pattern di query supportato da viste materializzate incrementali. La CTE supplier è inoltre la parte più costosa dal punto di vista del calcolo della query. Pertanto, se la query di esempio è stata eseguita ripetutamente su tabelle di origine in costante modifica, il motore per suggerimenti della vista materializzata potrebbe suggerire di inserire la CTE di supplier in una vista materializzata. Il suggerimento della vista materializzata per la query di esempio precedente potrebbe essere simile al seguente:

CREATE MATERIALIZED VIEW mv AS
SELECT l_suppkey as supplier_no,
         sum(l_extendedprice * (1 - l_discount)) as total_revenue
  FROM lineitem
  WHERE
    l_shipdate >= date '1996-01-01'
    AND l_shipdate < date_add(date '1996-01-01', interval 3 MONTH)
  GROUP BY l_suppkey

L'API Recommender restituisce anche informazioni sull'esecuzione delle query sotto forma di insight. Gli approfondimenti sono risultati che aiutano a comprendere il carico di lavoro del progetto e forniscono maggiore contesto su come un suggerimento della vista materializzata potrebbe migliorare i costi del carico di lavoro.

Limitazioni

• Il motore per suggerimenti della vista materializzata non supporta il processo standard per disattivare il trattamento dati. Per non ricevere più suggerimenti vista materializzata, segui le istruzioni riportate nel modulo di registrazione pre-GA di Gemini in BigQuery.
• I suggerimenti vista materializzata non possono essere esportati in BigQuery.

Prima di iniziare

Prima di poter visualizzare o applicare i suggerimenti vista materializzata, devi abilitare l'API Recommender.

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per accedere ai suggerimenti vista materializzata, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore motore per suggerimenti viste materializzate BigQuery (roles/recommender.bigqueryMaterializedViewViewer). Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene le autorizzazioni necessarie per accedere ai suggerimenti vista materializzata. Per visualizzare esattamente le autorizzazioni necessarie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per accedere ai suggerimenti vista materializzata sono necessarie le seguenti autorizzazioni:

• recommender.bigqueryMaterializedViewRecommendations.get
• recommender.bigqueryMaterializedViewRecommendations.list

Potresti anche riuscire a ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni IAM in BigQuery, consulta Introduzione a IAM.

Visualizza i suggerimenti sulle viste vista materializzata

Questa sezione descrive come visualizzare suggerimenti e insight sulle vista materializzata utilizzando la console Google Cloud, Google Cloud CLI o l'API Recommender.

Seleziona una delle seguenti opzioni:

Console

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Fai clic su Consigli.

   

3. Si apre il riquadro Suggerimenti BigQuery. In Ottimizza i costi dei carichi di lavoro BigQuery, fai clic su Visualizza dettagli.

   

4. Viene visualizzato un elenco di suggerimenti che mostra tutti i suggerimenti generati per il progetto corrente. Ogni consiglio in questo elenco mostra il risparmio approssimato se il consiglio è stato applicato. Per visualizzare ulteriori informazioni su un consiglio o un insight della tabella specifici per una vista materializzata, fai clic su Dettagli.

gcloud

Per visualizzare i suggerimenti vista materializzata per un progetto specifico, utilizza il comando gcloud recommender recommendations list:

gcloud recommender recommendations list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --recommender=google.bigquery.materializedview.Recommender \
    --format=FORMAT_TYPE \

Sostituisci quanto segue:

• PROJECT_NAME: il nome del progetto che esegue i job di query
• REGION_NAME: la regione in cui vengono eseguiti i job di query
• FORMAT_TYPE: un formato di output dell'interfaccia a riga di comando gcloud supportato, ad esempio JSON

La tabella seguente descrive i campi importanti della risposta "recommendations":

Proprietà	Pertinente per sottotipo	Descrizione
recommenderSubtype	CREATE_MATERIALIZED_VIEW	Il tipo di suggerimento.
content.overview.sql	CREATE_MATERIALIZED_VIEW	Istruzione DDL suggerita che crea una vista materializzata.
content.overview.slotMsSavedMonthly	CREATE_MATERIALIZED_VIEW	Stima dei millisecondi di slot che verranno salvati mensilmente dalla visualizzazione suggerita.
content.overview.bytesSavedMonthly	CREATE_MATERIALIZED_VIEW	Stima dei byte analizzati che verranno salvati mensilmente dalla visualizzazione suggerita.
content.overview.baseTables	CREATE_MATERIALIZED_VIEW	Riservato per un uso futuro.

• Per ulteriori informazioni sugli altri campi della risposta recommendations, consulta la sezione Risorsa REST: projects.locations.recommenders.recommendation.
• Per saperne di più sull'utilizzo dell'API Recommender, consulta Utilizzo dell'API - Suggerimenti.

Per visualizzare gli insight che hanno richiesto i suggerimenti vista materializzata utilizzando gcloud CLI, utilizza il comando gcloud recommender insights list:

gcloud recommender insights list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --insight-type=google.bigquery.materializedview.Insight \
    --format=FORMAT_TYPE \

Sostituisci quanto segue:

• PROJECT_NAME: il nome del progetto che esegue i job di query
• REGION_NAME: la regione in cui vengono eseguiti i job di query
• FORMAT_TYPE: un formato di output dell'interfaccia a riga di comando gcloud supportato, ad esempio JSON

La tabella seguente descrive i campi importanti della risposta dell'API Insights:

Proprietà	Pertinente per sottotipo	Descrizione
content.queryCount	CREATE_MATERIALIZED_VIEW	Numero di query nel periodo di osservazione con pattern ripetitivi che possono essere ottimizzati mediante la vista materializzata.

• Per maggiori informazioni su altri campi nella risposta degli insight, consulta Risorsa REST: projects.locations.insightTypes.insights.
• Per saperne di più sull'utilizzo degli insight, consulta Utilizzo dell'API: insight.

API REST

Per visualizzare i suggerimenti vista materializzata per un progetto specifico, utilizza l'API REST. Con ciascun comando devi fornire un token di autenticazione, che puoi ottenere usando gcloud CLI. Per ulteriori informazioni su come ottenere un token di autenticazione, consulta Metodi per ottenere un token ID.

Puoi utilizzare la richiesta curl list per visualizzare tutti i suggerimenti per un progetto specifico:

$ curl
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/PROJECT_NAME/locations/LOCATION/recommenders/google.bigquery.materializedview.Recommender/recommendations

Sostituisci quanto segue:

• PROJECT_NAME: il nome del progetto contenente la tabella BigQuery
• LOCATION: la località in cui si trova il progetto.

La tabella seguente descrive i campi importanti della risposta "recommendations":

Proprietà	Pertinente per sottotipo	Descrizione
recommenderSubtype	CREATE_MATERIALIZED_VIEW	Il tipo di suggerimento.
content.overview.sql	CREATE_MATERIALIZED_VIEW	Istruzione DDL suggerita che crea una vista materializzata.
content.overview.slotMsSavedMonthly	CREATE_MATERIALIZED_VIEW	Stima dei millisecondi di slot che verranno salvati mensilmente dalla visualizzazione suggerita.
content.overview.bytesSavedMonthly	CREATE_MATERIALIZED_VIEW	Stima dei byte analizzati che verranno salvati mensilmente dalla visualizzazione suggerita.
content.overview.baseTables	CREATE_MATERIALIZED_VIEW	Riservato per un uso futuro.

• Per ulteriori informazioni sugli altri campi della risposta recommendations, consulta la sezione Risorsa REST: projects.locations.recommenders.recommendation.
• Per saperne di più sull'utilizzo dell'API Recommender, consulta Utilizzo dell'API - Suggerimenti.

Per visualizzare gli insight che hanno richiesto suggerimenti vista materializzata utilizzando l'API REST, esegui questo comando:

$ curl
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/PROJECT_NAME/locations/LOCATION/insightTypes/google.bigquery.materializedview.Insight/insights

Sostituisci quanto segue:

• PROJECT_NAME: il nome del progetto contenente la tabella BigQuery
• LOCATION: la località in cui si trova il progetto.

La tabella seguente descrive i campi importanti della risposta dell'API Insights:

Proprietà	Pertinente per sottotipo	Descrizione
content.queryCount	CREATE_MATERIALIZED_VIEW	Numero di query nel periodo di osservazione con pattern ripetitivi che possono essere ottimizzati mediante la vista materializzata.

• Per maggiori informazioni su altri campi nella risposta degli insight, consulta Risorsa REST: projects.locations.insightTypes.insights.
• Per saperne di più sull'utilizzo degli insight, consulta Utilizzo dell'API: insight.

Applica i suggerimenti vista materializzata

Puoi applicare un suggerimento per creare una vista materializzata eseguendo l'istruzione DDL di tipo CREATE MATERIALIZED VIEW suggerita nella console Google Cloud.

Nota: per eseguire l'istruzione DDL CREATE MATERIALIZED VIEW suggerita, devi disporre delle autorizzazioni richieste in tutte le posizioni seguenti:

• Progetto query
• Il set di dati contenente le tabelle di origine
• Il set di dati contenente la vista materializzata

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Fai clic su Consigli.

   

3. Si apre il riquadro Suggerimenti BigQuery. In Ottimizza i costi dei carichi di lavoro BigQuery, fai clic su Visualizza dettagli.

   

4. Viene visualizzato un elenco di suggerimenti che mostra tutti i suggerimenti generati per il progetto corrente. Individua un suggerimento di una vista materializzata e fai clic su Dettagli.

5. Fai clic su Visualizza in BigQuery Studio. Si apre un editor SQL contenente un'istruzione DDL CREATE MATERIALIZED VIEW.

6. Nell'istruzione CREATE MATERIALIZED VIEW fornita, modifica il segnaposto MATERIALIZED_VIEW con un nome di vista materializzata univoco.

7. Esegui l'istruzione DDL CREATE MATERIALIZED VIEW per creare una vista materializzata consigliata.

Risolvere i problemi relativi ai suggerimenti

Problema: non viene visualizzato alcun consiglio per una tabella specifica.

I suggerimenti delle viste materializzate potrebbero non essere mostrati nei seguenti casi:

• Non sono stati trovati pattern di query ricorrenti tra i job di query eseguiti da un progetto.
• I pattern di query ricorrenti non soddisfano le limitazioni per le viste materializzate incrementali e non possono essere inseriti in una vista materializzata adatta per l'ottimizzazione intelligente.
• La potenziale vista materializzata avrebbe un costo di manutenzione elevato. Ad esempio, le tabelle di origine vengono spesso modificate da operazioni DML (Data Manipulation Language), pertanto una vista materializzata subirebbe l'aggiornamento completo, con ulteriori costi.
• Il numero di query con un pattern ricorrente comune non è sufficiente.
• Il risparmio mensile stimato è troppo trascurabile (meno di 1 slot).
• I job di query eseguiti dal progetto utilizzano già le viste materializzate.

Prezzi

La visualizzazione dei suggerimenti non comporta alcun costo o impatto negativo sulle prestazioni dei carichi di lavoro.

Quando applichi i suggerimenti creando viste materializzate, puoi incorrere in costi di archiviazione, manutenzione ed esecuzione di query. Per ulteriori informazioni, consulta i prezzi delle viste materializzate.