Soluzione di avvio rapido: data warehouse con BigQuery

Last reviewed 2024-01-29 UTC

Questa guida ti aiuta a comprendere, eseguire il deployment e utilizzare la soluzione di avvio rapido Data warehouse con BigQuery. Questa soluzione mostra come creare un data warehouse in Google Cloud utilizzando BigQuery come data warehouse e Looker Studio come dashboard e strumento di visualizzazione. La soluzione utilizza anche le funzionalità di IA generativa di Vertex AI per generare un testo che riassuma l'analisi.

Ecco alcuni casi d'uso comuni per la creazione di un data warehouse:

  • Aggregazione e creazione di warehouse di analisi di marketing per migliorare le metriche relative alle entrate o ad altre metriche dei clienti.
  • Realizzazione di report e analisi finanziari.
  • Creazione di dashboard operative per migliorare le prestazioni aziendali.

Questo documento è destinato agli sviluppatori che hanno una certa familiarità con l'analisi dei dati e hanno utilizzato un database per eseguire un'analisi. presuppone che tu abbia familiarità con i concetti di base del cloud, anche se non necessariamente di Google Cloud. L'esperienza con Terraform è utile, ma non necessaria, per eseguire il deployment di questa soluzione tramite la console.

Obiettivi

  • Scopri come i dati passano in un data warehouse su cloud e come i dati possono essere trasformati utilizzando SQL.
  • Crea dashboard dai dati per eseguire l'analisi dei dati.
  • Pianifica le istruzioni SQL in modo che aggiornino i dati in base a una ricorrenza comune.
  • Crea un modello di machine learning per prevedere i valori dei dati nel tempo.
  • Utilizza l'AI generativa per riepilogare i risultati del tuo modello di machine learning.

Prodotti utilizzati

La soluzione utilizza i seguenti prodotti Google Cloud:

  • BigQuery: un data warehouse completamente gestito e a scalabilità elevata, con funzionalità integrate di machine learning.
  • Cloud Storage: un servizio di livello enterprise che fornisce archiviazione di oggetti senza limiti a basso costo per diversi tipi di dati. I dati sono accessibili all'interno e all'esterno di Google Cloud e vengono replicati con ridondanza geografica.
  • Looker Studio: piattaforma di business intelligence self-service che ti aiuta a creare e condividere insight sui dati.
  • Vertex AI: una piattaforma di machine learning (ML) che consente di addestrare ed eseguire il deployment di modelli ML e applicazioni IA.

I seguenti prodotti Google Cloud vengono utilizzati per inserire in un'area intermedia i dati nella soluzione per il primo utilizzo:

  • Flussi di lavoro: una piattaforma di orchestrazione completamente gestita che esegue i servizi in un ordine specificato come flusso di lavoro. Workflows può combinare servizi, inclusi servizi personalizzati ospitati su Cloud Run o Cloud Functions, servizi Google Cloud come BigQuery e qualsiasi API basata su HTTP.
  • Cloud Functions: un ambiente di esecuzione serverless per la creazione e la connessione di servizi cloud.

Architettura

Il warehouse di esempio di cui viene eseguito il deployment di questa soluzione analizza i dati di e-commerce fittizi di TheLook per comprendere il rendimento dell'azienda nel tempo. Il seguente diagramma mostra l'architettura delle risorse Google Cloud di cui viene eseguito il deployment della soluzione.

Architettura dell'infrastruttura per la soluzione di data warehouse.

Flusso della soluzione

L'architettura rappresenta un flusso di dati comune per completare e trasformare i dati per un data warehouse:

  1. I dati vengono inviati a un bucket Cloud Storage.
  2. Flussi di lavoro agevola lo spostamento dei dati.
  3. I dati vengono caricati in BigQuery come tabella BigLake utilizzando una stored procedure SQL.
  4. I dati vengono trasformati in BigQuery utilizzando una procedura archiviata SQL.
  5. Le dashboard vengono create dai dati per analizzarle ulteriormente con Looker Studio.
  6. I dati vengono analizzati utilizzando un modello K-means creato con BigQuery ML. L'analisi identifica pattern comuni, che vengono riassunti utilizzando le funzionalità di IA generativa di Vertex AI tramite BigQuery.
  7. Cloud Functions crea blocchi note Python con contenuti di apprendimento aggiuntivi.

Costo

Per una stima del costo delle risorse Google Cloud utilizzate dal data warehouse con la soluzione BigQuery, consulta la stima precalcolata nel Calcolatore prezzi di Google Cloud.

Utilizza la stima come punto di partenza per calcolare il costo del deployment. Puoi modificare la stima per riflettere eventuali modifiche alla configurazione che prevedi di apportare per le risorse utilizzate nella soluzione.

La stima precalcolata si basa su ipotesi relative a determinati fattori, tra cui:

  • Le località Google Cloud in cui viene eseguito il deployment delle risorse.
  • La quantità di tempo di utilizzo delle risorse.

  • La regione di dati in cui vengono inseriti i dati temporanei.

Esegui il deployment della soluzione

Questa sezione illustra il processo di deployment della soluzione.

Crea o scegli un progetto Google Cloud

Quando esegui il deployment della soluzione, scegli il progetto Google Cloud in cui viene eseguito il deployment delle risorse. Quando decidi se utilizzare un progetto esistente o crearne uno nuovo, considera i seguenti fattori:

  • Se crei un progetto per la soluzione, quando non hai più bisogno del deployment, puoi eliminarlo ed evitare la fatturazione continua. Se utilizzi un progetto esistente, devi eliminare il deployment quando non ne hai più bisogno.
  • L'utilizzo di un nuovo progetto può evitare conflitti con le risorse di cui è stato eseguito il provisioning in precedenza, ad esempio le risorse utilizzate per i carichi di lavoro di produzione.

Se vuoi eseguire il deployment della soluzione in un nuovo progetto, crea il progetto prima di iniziare il deployment.

Per creare un progetto, completa i seguenti passaggi:

  1. Nella console Google Cloud, vai alla pagina del selettore progetto.

    Vai al selettore progetti

  2. Per iniziare a creare un progetto Google Cloud, fai clic su Crea progetto.

  3. Assegna un nome al progetto. Prendi nota dell'ID progetto generato.

  4. Modifica gli altri campi in base alle tue esigenze.

  5. Per creare il progetto, fai clic su Crea.

Recupera le autorizzazioni IAM richieste

Per avviare il processo di deployment, devi disporre delle autorizzazioni di Identity and Access Management (IAM) elencate nella tabella seguente. Se disponi del roles/owner ruolo di base per il progetto in cui prevedi di eseguire il deployment della soluzione, disponi già di tutte le autorizzazioni necessarie. Se non hai il ruolo roles/owner, chiedi all'amministratore di concederti queste autorizzazioni (o i ruoli che le includono).

Autorizzazione IAM richiesta Ruolo predefinito che include le autorizzazioni richieste

serviceusage.services.enable

Amministratore Service Usage
(roles/serviceusage.serviceUsageAdmin)

iam.serviceAccounts.create

Amministratore account di servizio
(roles/iam.serviceAccountAdmin)

resourcemanager.projects.setIamPolicy

Amministratore IAM progetto
(roles/resourcemanager.projectIamAdmin)
config.deployments.create
config.deployments.list
Amministratore Cloud Infrastructure Manager
(roles/config.admin)

Account di servizio creato per la soluzione

Se avvii il processo di deployment tramite la console, Google crea un account di servizio per eseguire il deployment della soluzione per tuo conto (ed eliminarlo in un secondo momento, se lo desideri). A questo account di servizio vengono assegnate temporaneamente determinate autorizzazioni IAM, ovvero le autorizzazioni vengono revocate automaticamente al termine delle operazioni di deployment ed eliminazione della soluzione. Dopo aver eliminato il deployment, Google consiglia di eliminare l'account di servizio, come descritto più avanti in questa guida.

Visualizza i ruoli assegnati all'account di servizio

Questi ruoli sono elencati qui nel caso in cui un amministratore del tuo progetto o della tua organizzazione Google Cloud abbia bisogno di queste informazioni.

  • roles/aiplatform.admin
  • roles/bigquery.admin
  • roles/cloudfunctions.admin
  • roles/config.agent
  • roles/datalineage.viewer
  • roles/dataform.admin
  • roles/iam.serviceAccountAdmin
  • roles/iam.serviceAccountUser
  • roles/iam.serviceAccountTokenCreator
  • roles/logging.configWriter
  • roles/resourcemanager.projectIamAdmin
  • roles/run.invoker
  • roles/serviceusage.serviceUsageAdmin
  • roles/storage.admin
  • roles/workflows.admin

Scegli un metodo di deployment

Per aiutarti a eseguire il deployment di questa soluzione con il minimo sforzo, in GitHub è fornita una configurazione Terraform. La configurazione Terraform definisce tutte le risorse Google Cloud necessarie per la soluzione.

Puoi eseguire il deployment della soluzione utilizzando uno dei seguenti metodi:

  • Tramite la console: utilizza questo metodo se vuoi provare la soluzione con la configurazione predefinita e vedere come funziona. Cloud Build esegue il deployment di tutte le risorse necessarie per la soluzione. Quando non hai più bisogno della soluzione di cui hai eseguito il deployment, puoi eliminarla tramite la console. Le risorse create dopo il deployment della soluzione potrebbero dover essere eliminate separatamente.

    Per utilizzare questo metodo di deployment, segui le istruzioni in Eseguire il deployment tramite la console.

  • Utilizzo dell'interfaccia a riga di comando di Terraform: utilizza questo metodo se vuoi personalizzare la soluzione o se vuoi automatizzare il provisioning e la gestione delle risorse utilizzando l'approccio Infrastructure as Code (IaC). Scarica la configurazione Terraform da GitHub, personalizza il codice secondo necessità, quindi esegui il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform. Dopo aver eseguito il deployment della soluzione, puoi continuare a utilizzare Terraform per gestirla.

    Per utilizzare questo metodo di deployment, segui le istruzioni in Eseguire il deployment utilizzando l'interfaccia a riga di comando Terraform.

Esegui il deployment tramite la console

Completa i seguenti passaggi per eseguire il deployment della soluzione preconfigurata.

  1. Nel catalogo delle soluzioni di avvio rapido di Google Cloud, vai alla soluzione Data warehouse con BigQuery.

    Vai al Data warehouse con soluzione BigQuery

  2. Esamina le informazioni fornite nella pagina, ad esempio il costo stimato della soluzione e il tempo di deployment stimato.

  3. Quando è tutto pronto per iniziare a eseguire il deployment della soluzione, fai clic su Esegui il deployment.

    Viene visualizzata una guida interattiva passo passo.

  4. Completa i passaggi nella guida interattiva.

    Prendi nota del nome che inserisci per il deployment. Questo nome sarà richiesto in seguito, quando elimini il deployment.

    Quando fai clic su Esegui il deployment, viene visualizzata la pagina Deployment della soluzione. Nel campo Stato di questa pagina è visualizzato Deployment.

  5. Attendi che venga eseguito il deployment della soluzione.

    Se il deployment non riesce, il campo Stato mostra Non riuscito. Puoi utilizzare il log di Cloud Build per diagnosticare gli errori. Per ulteriori informazioni, consulta Errori durante il deployment tramite la console.

    Una volta completato il deployment, il campo Stato diventa Deployment eseguito.

  6. Per verificare le risorse di cui è stato eseguito il deployment, fai clic sul menu Azioni di e seleziona Visualizza risorse.

    La pagina Asset Inventory (Inventario asset) della console Google Cloud si apre in una nuova scheda del browser. La pagina elenca gli oggetti BigQuery, la Cloud Function, il flusso di lavoro Workflows, l'argomento Pub/Sub e le risorse trigger Eventarc di cui è stato eseguito il deployment dalla soluzione.

    Per visualizzare i dettagli di ciascuna risorsa, fai clic sul nome della risorsa nella colonna Nome visualizzato.

  7. Per visualizzare e utilizzare la soluzione, torna alla pagina Deployment della soluzione nella console.

    1. Fai clic sul menu Azioni .
    2. Seleziona Visualizza dashboard di Looker Studio per aprire una dashboard basata sui dati di esempio trasformati utilizzando la soluzione.
    3. Seleziona Apri editor BigQuery per eseguire query e creare modelli di machine learning (ML) utilizzando i dati di esempio contenuti nella soluzione.

Quando non hai più bisogno della soluzione, puoi eliminare il deployment per evitare la fatturazione continua per le risorse Google Cloud. Per ulteriori informazioni, consulta la pagina Eliminare il deployment.

Esegui il deployment utilizzando l'interfaccia a riga di comando di Terraform

Questa sezione descrive come personalizzare la soluzione o automatizzare il provisioning e la gestione della soluzione utilizzando l'interfaccia a riga di comando di Terraform. Le soluzioni di cui esegui il deployment utilizzando l'interfaccia a riga di comando di Terraform non vengono visualizzate nella pagina Deployment della soluzione nella console Google Cloud.

Configura il client Terraform

Puoi eseguire Terraform in Cloud Shell o sul tuo host locale. Questa guida descrive come eseguire Terraform in Cloud Shell, in cui Terraform è preinstallato e configurato per l'autenticazione con Google Cloud.

Il codice Terraform per questa soluzione è disponibile in un repository GitHub.

  1. Clonare il repository GitHub in Cloud Shell.

    Apri in Cloud Shell

    Viene visualizzato un messaggio per confermare il download del repository GitHub in Cloud Shell.

  2. Fai clic su Conferma.

    Cloud Shell viene avviato in una scheda del browser separata e il codice Terraform viene scaricato nella directory $HOME/cloudshell_open del tuo ambiente Cloud Shell.

  3. In Cloud Shell, controlla se la directory di lavoro attuale è $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Questa è la directory che contiene i file di configurazione Terraform per la soluzione. Se devi passare a quella directory, esegui questo comando:

    cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
    
  4. Inizializza Terraform eseguendo questo comando:

    terraform init
    

    Attendi finché non viene visualizzato il seguente messaggio:

    Terraform has been successfully initialized!
    

Configura le variabili Terraform

Il codice Terraform che hai scaricato include variabili che puoi utilizzare per personalizzare il deployment in base ai tuoi requisiti. Ad esempio, puoi specificare il progetto Google Cloud e la regione in cui vuoi che venga eseguito il deployment della soluzione.

  1. Assicurati che la directory di lavoro corrente sia $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. In caso contrario, vai a quella directory.

  2. Nella stessa directory, crea un file di testo denominato terraform.tfvars.

  3. Nel file terraform.tfvars, copia il seguente snippet di codice e imposta i valori per le variabili richieste.

    • Segui le istruzioni fornite come commenti nello snippet di codice.
    • Questo snippet di codice include solo le variabili per le quali devi impostare i valori. La configurazione di Terraform include altre variabili con valori predefiniti. Per esaminare tutte le variabili e i valori predefiniti, vedi il file variables.tf disponibile nella directory $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse.
    • Assicurati che ogni valore impostato nel file terraform.tfvars corrisponda al type di variabile dichiarato nel file variables.tf. Ad esempio, se il tipo definito per una variabile nel file variables.tf è bool, devi specificare true o false come valore di questa variabile nel file terraform.tfvars.
    # This is an example of the terraform.tfvars file.
    # The values in this file must match the variable types declared in variables.tf.
    # The values in this file override any defaults in variables.tf.
    
    # ID of the project in which you want to deploy the solution
    project_id = "PROJECT_ID"
    
    # Google Cloud region where you want to deploy the solution
    # Example: us-central1
    region = "REGION"
    
    # Whether or not to enable underlying apis in this solution.
    # Example: true
    enable_apis = true
    
    # Whether or not to protect BigQuery resources from deletion when solution is modified or changed.
    # Example: false
    force_destroy = false
    
    # Whether or not to protect Cloud Storage resources from deletion when solution is modified or changed.
    # Example: true
    deletion_protection = true
    
    # Name of the BigQuery ML GenAI remote model used for text generation
    # Example: "text_generate_model"
    text_generation_model_name = "text_generate_model"
    

    Per informazioni sui valori che puoi assegnare alle variabili richieste, vedi quanto segue:

Convalida e rivedi la configurazione Terraform

  1. Assicurati che la directory di lavoro corrente sia $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. In caso contrario, vai a quella directory.

  2. Verifica che la configurazione di Terraform non presenti errori:

    terraform validate
    

    Se il comando restituisce degli errori, apporta le correzioni necessarie nella configurazione, quindi esegui di nuovo il comando terraform validate. Ripeti questo passaggio finché il comando non restituisce il seguente messaggio:

    Success! The configuration is valid.
    
  3. Rivedi le risorse definite nella configurazione:

    terraform plan
    
  4. Se non hai creato il file terraform.tfvars come descritto in precedenza, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori richiesti.

    L'output del comando terraform plan è un elenco delle risorse di cui Terraform esegue il provisioning quando applichi la configurazione.

    Se vuoi apportare modifiche, modifica la configurazione, quindi esegui di nuovo i comandi terraform validate e terraform plan.

Esegui il provisioning delle risorse

Se non sono necessarie ulteriori modifiche alla configurazione di Terraform, esegui il deployment delle risorse.

  1. Assicurati che la directory di lavoro corrente sia $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. In caso contrario, vai a quella directory.

  2. Applica la configurazione Terraform:

    terraform apply
    
  3. Se non hai creato il file terraform.tfvars come descritto in precedenza, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori richiesti.

    Terraform visualizza un elenco delle risorse che verranno create.

  4. Quando ti viene chiesto di eseguire le azioni, inserisci yes.

    Terraform visualizza i messaggi che mostrano l'avanzamento del deployment.

    Se non è possibile completare il deployment, Terraform visualizza gli errori che l'hanno causato. Esamina i messaggi e aggiorna la configurazione per correggerli. Quindi esegui di nuovo il comando terraform apply. Per assistenza sulla risoluzione degli errori di Terraform, consulta Errori durante il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform.

    Dopo aver creato tutte le risorse, Terraform visualizza il seguente messaggio:

    Apply complete!
    

    L'output di Terraform elenca anche le seguenti informazioni aggiuntive di cui avrai bisogno:

    • L'URL di Looker Studio della dashboard di cui è stato eseguito il deployment.
    • Il link per aprire l'editor di BigQuery per alcune query di esempio.

    L'esempio seguente mostra l'aspetto dell'output:

    lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=8a6517b8-8fcd-47a2-a953-9d4fb9ae4794&ds.ds_profit.datasourceName=lookerstudio_report_profit&ds.ds_profit.projectId=my-cloud-project&ds.ds_profit.type=TABLE&ds.ds_profit.datasetId=ds_edw&ds.ds_profit.tableId=lookerstudio_report_profit&ds.ds_dc.datasourceName=lookerstudio_report_distribution_centers&ds.ds_dc.projectId=my-cloud-project&ds.ds_dc.type=TABLE&ds.ds_dc.datasetId=ds_edw&ds.ds_dc.tableId=lookerstudio_report_distribution_centers"
    bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
    
  5. Per visualizzare e utilizzare la dashboard ed eseguire query in BigQuery, copia gli URL di output dal passaggio precedente e apri gli URL in nuove schede del browser.

    La dashboard e l'editor di BigQuery vengono visualizzati nelle nuove schede.

  6. Per vedere tutte le risorse Google Cloud di cui è stato eseguito il deployment, fai un tour interattivo.

    Inizia il tour

Quando non hai più bisogno della soluzione, puoi eliminare il deployment per evitare la fatturazione continua per le risorse Google Cloud. Per ulteriori informazioni, consulta la pagina Eliminare il deployment.

Personalizza la soluzione

Questa sezione fornisce informazioni che gli sviluppatori Terraform possono utilizzare per modificare il data warehouse con la soluzione BigQuery al fine di soddisfare i propri requisiti tecnici e aziendali. Le indicazioni in questa sezione sono pertinenti solo se esegui il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform.

Dopo aver visto come funziona la soluzione con i dati di esempio, potresti voler lavorare con i tuoi dati. Per utilizzare i tuoi dati, li inserisci nel bucket Cloud Storage denominato edw-raw-hash. L'hash è un insieme casuale di otto caratteri generato durante il deployment. Puoi modificare il codice Terraform nei modi seguenti:

  • ID set di dati: Modifica il codice Terraform in modo che, quando il codice crea il set di dati BigQuery, utilizzi l'ID del set di dati che vuoi usare per i tuoi dati.
  • Schema. Modifica il codice Terraform in modo che crei l'ID tabella BigQuery da utilizzare per archiviare i dati. Questo include lo schema della tabella esterna in modo che BigQuery possa leggere i dati da Cloud Storage.
  • Query pianificate. Aggiungi stored procedure che eseguono l'analisi che ti interessa.
  • Dashboard di Looker. Modifica il codice Terraform che crea una dashboard Looker in modo che rifletta i dati che stai utilizzando.

Di seguito sono riportati oggetti comuni di data warehouse, che mostrano il codice di esempio Terraform in main.tf.

  • Set di dati BigQuery: lo schema in cui vengono raggruppati e archiviati gli oggetti di database.

    resource "google_bigquery_dataset" "ds_edw" {
          project = module.project-services.project_id
          dataset_id = "DATASET_PHYSICAL_ID"
          friendly_name = "DATASET_LOGICAL_NAME"
          description = "DATASET_DESCRIPTION"
          location = "REGION"
          labels = var.labels
          delete_contents_on_destroy = var.force_destroy
      }
  • Tabella BigQuery: un oggetto di database che rappresenta i dati archiviati in BigQuery o che rappresenta uno schema di dati archiviato in Cloud Storage.

    resource "google_bigquery_table" "tbl_edw_inventory_items" {
          dataset_id = google_bigquery_dataset.ds_edw.dataset_id
          table_id = "TABLE_NAME"
          project = module.project-services.project_id
          deletion_protection = var.deletion_protection
          ...
      }
  • Stored procedure di BigQuery: un oggetto di database che rappresenta una o più istruzioni SQL da eseguire quando vengono richiamate. Potrebbe essere per trasformare i dati da una tabella a un'altra o per caricarli da una tabella esterna in una tabella standard.

    resource "google_bigquery_routine" "sp_sample_translation_queries" {
          project = module.project-services.project_id
          dataset_id = google_bigquery_dataset.ds_edw.dataset_id
          routine_id = "sp_sample_translation_queries"
          routine_type = "PROCEDURE"
          language = "SQL"
          definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id })
        }
  • Query pianificata BigQuery: un'utilità per pianificare l'esecuzione di una query o di una stored procedure a una frequenza specificata.

    resource "google_bigquery_data_transfer_config" "dts_config" {
        display_name = "TRANSFER_NAME"
        project = module.project-services.project_id
        location = "REGION"
        data_source_id = "scheduled_query"
        schedule = "every day 00:00"
        params = {
            query = "CALL ${module.project-services.project_id}.ds_edw.sp_lookerstudio_report()"
            }
      }

Per personalizzare la soluzione, completa i seguenti passaggi in Cloud Shell:

  1. Verifica che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. In caso contrario, vai a quella directory:

    cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
    
  2. Apri main.tf e apporta le modifiche che vuoi apportare.

    Per ulteriori informazioni sugli effetti di questa personalizzazione su affidabilità, sicurezza, prestazioni, costi e operazioni, consulta i suggerimenti di progettazione.

  3. Convalida e rivedi la configurazione Terraform.

  4. Esegui il provisioning delle risorse.

Suggerimenti di progettazione

Questa sezione fornisce suggerimenti per utilizzare il data warehouse con la soluzione BigQuery per sviluppare un'architettura che soddisfi i tuoi requisiti di sicurezza, affidabilità, costi e prestazioni.

Quando inizi a scalare con BigQuery, hai a disposizione vari modi per migliorare le prestazioni delle query e ridurre la spesa totale. Questi metodi includono la modifica della modalità di archiviazione fisica dei dati, la modifica delle query SQL e l'utilizzo delle prenotazioni di slot per garantire le prestazioni dei costi. Per ulteriori informazioni su come scalare ed eseguire il tuo data warehouse, consulta Introduzione all'ottimizzazione delle prestazioni delle query.

Tieni presente quanto segue:

  • Prima di apportare modifiche al design, valuta l'impatto sui costi e valuta i potenziali compromessi con altre funzionalità. Puoi valutare l'impatto sui costi delle modifiche alla progettazione utilizzando il Calcolatore prezzi di Google Cloud.
  • Per implementare modifiche al design nella soluzione, devi avere esperienza nella codifica Terraform e in una conoscenza avanzata dei servizi Google Cloud utilizzati nella soluzione.
  • Se modifichi la configurazione Terraform fornita da Google e si verificano errori, crea problemi in GitHub. I problemi relativi a GitHub vengono esaminati secondo il criterio del "best effort" e non sono destinati a domande sull'utilizzo generale.
  • Per ulteriori informazioni sulla progettazione e sulla configurazione di ambienti di livello enterprise in Google Cloud, consulta Progettazione delle zone di destinazione in Google Cloud ed elenco di controllo per la configurazione di Google Cloud.

Elimina il deployment

Quando non hai più bisogno del deployment della soluzione, per evitare la fatturazione continua per le risorse che hai creato, elimina il deployment.

Elimina tramite la console

Utilizza questa procedura se hai eseguito il deployment della soluzione tramite la console.

  1. Nella console Google Cloud, vai alla pagina Deployment della soluzione.

    Vai a Deployment di soluzioni

  2. Seleziona il progetto che contiene il deployment da eliminare.

  3. Individua il deployment che vuoi eliminare.

  4. Fai clic su Azioni e seleziona Elimina.

  5. Inserisci il nome del deployment e fai clic su Conferma.

    Nel campo Stato è visualizzata la dicitura Eliminazione.

    Se l'eliminazione non va a buon fine, consulta le indicazioni per la risoluzione dei problemi in Errore durante l'eliminazione di un deployment.

Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, puoi eliminarlo. Per maggiori informazioni, consulta Facoltativo: eliminare il progetto.

Elimina utilizzando l'interfaccia a riga di comando di Terraform

Utilizza questa procedura se hai eseguito il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform.

  1. In Cloud Shell, assicurati che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. In caso contrario, vai a quella directory.

  2. Rimuovi le risorse di cui è stato eseguito il provisioning da Terraform:

    terraform destroy
    

    Terraform visualizza un elenco delle risorse che verranno eliminate.

  3. Quando ti viene chiesto di eseguire le azioni, inserisci yes.

    Terraform visualizza i messaggi che mostrano l'avanzamento. Dopo aver eliminato tutte le risorse, Terraform visualizza il seguente messaggio:

    Destroy complete!
    

    Se l'eliminazione non va a buon fine, consulta le indicazioni per la risoluzione dei problemi in Errore durante l'eliminazione di un deployment.

Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, puoi eliminarlo. Per maggiori informazioni, consulta Facoltativo: eliminare il progetto.

(Facoltativo) Elimina il progetto

Se hai eseguito il deployment della soluzione in un nuovo progetto Google Cloud e se non ti serve più, eliminalo completando questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona quello che vuoi eliminare, quindi fai clic su Elimina.
  3. Al prompt, digita l'ID progetto e fai clic su Arresta.

Se decidi di conservare il progetto, elimina l'account di servizio creato per questa soluzione, come descritto nella sezione successiva.

(Facoltativo) Eliminare l'account di servizio

Se hai eliminato il progetto utilizzato per la soluzione, salta questa sezione.

Come menzionato in precedenza in questa guida, quando hai eseguito il deployment della soluzione, è stato creato un account di servizio per tuo conto. All'account di servizio sono state assegnate determinate autorizzazioni IAM temporaneamente, ovvero le autorizzazioni sono state revocate automaticamente dopo il completamento delle operazioni di deployment ed eliminazione della soluzione, ma l'account di servizio non viene eliminato. Google consiglia di eliminare questo account di servizio.

  • Se hai eseguito il deployment della soluzione tramite la console Google Cloud, vai alla pagina Deployment della soluzione. Se sei già sulla pagina, aggiorna il browser. Viene attivato un processo in background per eliminare l'account di servizio. Non sono necessarie ulteriori azioni.

  • Se hai eseguito il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform, completa questi passaggi:

    1. Nella console Google Cloud, vai alla pagina Account di servizio.

      Vai ad Account di servizio

    2. Seleziona il progetto che hai utilizzato per la soluzione.

    3. Seleziona l'account di servizio che vuoi eliminare.

      L'ID email dell'account di servizio creato per la soluzione è nel seguente formato:

      goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
      

      L'ID email contiene i seguenti valori:

      • DEPLOYMENT_NAME: il nome del deployment.
      • NNN: un numero casuale di 3 cifre.
      • PROJECT_ID: l'ID del progetto in cui hai eseguito il deployment della soluzione.
    4. Fai clic su Elimina.

Risolvere gli errori

Le azioni che puoi intraprendere per diagnosticare e risolvere gli errori dipendono dal metodo di deployment e dalla complessità dell'errore.

Errori durante il deployment tramite la console

Se il deployment non riesce quando utilizzi la console:

  1. Vai alla pagina Deployment di soluzioni.

    Se il deployment non è riuscito, il campo Stato mostra Non riuscito.

  2. Visualizza i dettagli degli errori che hanno causato l'errore:

    1. Fai clic su Azioni.

    2. Seleziona Visualizza i log di Cloud Build.

  3. Esamina il log di Cloud Build e intraprendi le azioni necessarie per risolvere il problema che ha causato l'errore.

Errori durante il deployment tramite l'interfaccia a riga di comando di Terraform

Se il deployment non riesce quando utilizzi Terraform, l'output del comando terraform apply include messaggi di errore che puoi esaminare per diagnosticare il problema.

Gli esempi nelle sezioni seguenti mostrano errori di deployment che potresti riscontrare quando utilizzi Terraform.

Errore API non abilitata

Se crei un progetto e poi provi immediatamente a eseguire il deployment della soluzione nel nuovo progetto, il deployment potrebbe non riuscire e generare un errore simile al seguente:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

Se si verifica questo errore, attendi alcuni minuti ed esegui di nuovo il comando terraform apply.

Errore Impossibile assegnare l'indirizzo richiesto

Quando esegui il comando terraform apply, potrebbe verificarsi un errore cannot assign requested address, con un messaggio simile al seguente:

Error: Error creating service account:
 Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
 dial tcp [2001:db8:ffff:ffff::5f]:443:
 connect: cannot assign requested address

Se si verifica questo errore, esegui di nuovo il comando terraform apply.

Errori di accesso ai dati in BigQuery o Looker Studio

Esiste una fase di provisioning che viene eseguita dopo la fase di provisioning di Terraform che carica i dati nell'ambiente. Se viene visualizzato un errore quando i dati vengono caricati nella dashboard di Looker Studio o se non sono presenti oggetti quando inizi a esplorare BigQuery, attendi qualche minuto e riprova.

Errore durante l'eliminazione di un deployment

In alcuni casi, i tentativi di eliminare un deployment potrebbero non riuscire:

  • Dopo aver eseguito il deployment di una soluzione tramite la console, se modifichi una risorsa di cui è stato eseguito il provisioning dalla soluzione e provi a eliminare il deployment, l'eliminazione potrebbe non riuscire. Il campo Stato nella pagina Deployment della soluzione mostra Non riuscito e il log di Cloud Build mostra la causa dell'errore.
  • Dopo aver eseguito il deployment di una soluzione utilizzando l'interfaccia a riga di comando di Terraform, se modifichi una risorsa utilizzando un'interfaccia non Terraform (ad esempio, la console) e provi a eliminare il deployment, l'eliminazione potrebbe non riuscire. I messaggi nell'output del comando terraform destroy mostrano la causa dell'errore.

Esamina i log e i messaggi degli errori, identifica ed elimina le risorse che hanno causato l'errore, quindi riprova a eliminare il deployment.

Se un deployment basato su console non viene eliminato e non puoi diagnosticare l'errore utilizzando il log di Cloud Build, puoi eliminare il deployment utilizzando l'interfaccia a riga di comando di Terraform, come descritto nella sezione successiva.

Elimina un deployment basato su console utilizzando l'interfaccia a riga di comando di Terraform

Questa sezione descrive come eliminare un deployment basato su console in caso di errori quando provi a eliminarlo tramite la console. Con questo approccio, scaricherai la configurazione di Terraform per il deployment da eliminare e poi utilizzerai l'interfaccia a riga di comando di Terraform per eliminare il deployment.

  1. Identificare la regione in cui sono archiviati il codice Terraform, i log e altri dati del deployment. che potrebbe essere diversa da quella selezionata durante il deployment della soluzione.

    1. Nella console Google Cloud, vai alla pagina Deployment della soluzione.

      Vai a Deployment di soluzioni

    2. Seleziona il progetto che contiene il deployment da eliminare.

    3. Nell'elenco dei deployment, identifica la riga relativa al deployment che vuoi eliminare.

    4. Fai clic su Visualizza tutti i contenuti della riga.

    5. Nella colonna Location, prendi nota della seconda posizione, come evidenziato nell'esempio seguente:

      Posizione del codice di deployment, dei log e di altri artefatti.

  2. Nella console Google Cloud, attiva Cloud Shell.

    Attiva Cloud Shell

    Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell che mostra un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installato e con valori già impostati per il progetto attuale. L'inizializzazione della sessione può richiedere alcuni secondi.

  3. Crea variabili di ambiente per l'ID, la regione e il nome del progetto che vuoi eliminare:

    export REGION="REGION"
    export PROJECT_ID="PROJECT_ID"
    export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
    

    In questi comandi, sostituisci quanto segue:

    • REGION: la località che hai annotato in precedenza in questa procedura.
    • PROJECT_ID: l'ID del progetto in cui hai eseguito il deployment della soluzione.
    • DEPLOYMENT_NAME: il nome del deployment che vuoi eliminare.
  4. Recupera l'ID dell'ultima revisione del deployment che vuoi eliminare:

    export REVISION_ID=$(curl \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
        | jq .latestRevision -r)
        echo $REVISION_ID
    

    L'output è simile al seguente:

    projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0
    
  5. Recupera la località Cloud Storage della configurazione Terraform per il deployment:

    export CONTENT_PATH=$(curl \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
        | jq .applyResults.content -r)
        echo $CONTENT_PATH
    

    Di seguito è riportato un esempio dell'output di questo comando:

    gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content
    
  6. Scarica la configurazione Terraform da Cloud Storage a Cloud Shell:

    gsutil cp -r $CONTENT_PATH $HOME
    cd $HOME/content/modules/data_warehouse
    

    Attendi finché non viene visualizzato il messaggio Operation completed, come mostrato nell'esempio seguente:

    Operation completed over 45 objects/268.5 KiB
    
  7. Inizializza Terraform:

    terraform init
    

    Attendi finché non viene visualizzato il seguente messaggio:

    Terraform has been successfully initialized!
    
  8. Rimuovi le risorse di cui è stato eseguito il deployment:

    terraform destroy
    

    Terraform visualizza un elenco delle risorse che verranno eliminate.

    Se vengono visualizzati avvisi sulle variabili non dichiarate, ignorali.

  9. Quando ti viene chiesto di eseguire le azioni, inserisci yes.

    Terraform visualizza i messaggi che mostrano l'avanzamento. Dopo aver eliminato tutte le risorse, Terraform visualizza il seguente messaggio:

    Destroy complete!
    
  10. Elimina l'artefatto del deployment:

    curl -X DELETE \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"
    
  11. Attendi qualche secondo, quindi verifica che l'artefatto di deployment sia stato eliminato:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
        | jq .error.message
    

    Se l'output mostra null, attendi qualche secondo ed esegui di nuovo il comando.

    Dopo l'eliminazione dell'artefatto del deployment, viene visualizzato un messaggio come mostrato nell'esempio seguente:

    Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found
    

Invia feedback

Le soluzioni di avvio rapido sono solo a scopo informativo e non sono prodotti ufficialmente supportati. Google potrebbe modificare o rimuovere le soluzioni senza preavviso.

Per risolvere gli errori, esamina i log di Cloud Build e l'output di Terraform.

Per inviare il feedback:

  • Per la documentazione, i tutorial nella console o la soluzione, utilizza il pulsante Invia feedback nella pagina.
  • Per il codice Terraform non modificato, crea problemi nel repository GitHub. I problemi relativi a GitHub vengono esaminati secondo il criterio del "best effort" e non sono destinati a domande sull'utilizzo generale.

Passaggi successivi