Questa guida ti aiuta a comprendere, eseguire il deployment e utilizzare la soluzione di avvio rapido Data warehouse con BigQuery. Questa soluzione mostra come puoi creare un data warehouse in Google Cloud utilizzando BigQuery come data warehouse e Looker Studio come dashboard e strumento di visualizzazione. La soluzione utilizza anche le funzionalità di IA generativa di Vertex AI per generare testo che riassume l'analisi.
Ecco alcuni casi d'uso comuni per la creazione di un data warehouse:
- Aggregare e creare data warehouse di analisi di marketing per migliorare le entrate o altre metriche relative ai clienti.
- Creazione di report e analisi finanziari.
- Creazione di dashboard operative per migliorare il rendimento aziendale.
Questo documento è rivolto agli sviluppatori che hanno una certa esperienza con l'analisi dei dati e che hanno utilizzato un database per eseguire un'analisi. Si presume che tu abbia familiarità con i concetti di base del cloud, anche se non necessariamente con Google Cloud. L'esperienza con Terraform è utile, ma non necessaria per eseguire il deployment soluzione tramite la console.
Obiettivi
- Scopri come fluiscono i dati in un data warehouse su cloud e come i dati possono tramite SQL.
- Crea dashboard dai dati per eseguire l'analisi dei dati.
- Pianifica le istruzioni SQL per aggiornare i dati con una frequenza comune.
- Crea un modello di machine learning per prevedere i valori dei dati nel tempo.
- Usa AI generativa per riassumere i risultati del tuo modello di machine learning.
Prodotti utilizzati
La soluzione utilizza i seguenti prodotti Google Cloud:
- BigQuery: un data warehouse completamente gestito e a elevata scalabilità con funzionalità di machine learning integrate.
- Cloud Storage: un servizio di livello enterprise che fornisce archiviazione di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloud e vengono replicati con ridondanza geografica.
- Looker Studio: Piattaforma di business intelligence self-service che ti aiuta a creare e condividere e insight sui dati.
- Vertex AI: una piattaforma di machine learning (ML) che ti consente di addestrare ed eseguire il deployment di modelli ML e applicazioni IA.
I seguenti prodotti Google Cloud vengono utilizzati per inserire in un'area intermedia i dati soluzione per il primo utilizzo:
- Flussi di lavoro: una piattaforma di orchestrazione completamente gestita che esegue i servizi in una dell'ordine specificato come flusso di lavoro. Workflows possono combinare servizi, tra cui personalizzati ospitati su funzioni di Cloud Run o Cloud Run, ai servizi Google Cloud come BigQuery e qualsiasi basata su HTTP.
- Funzioni Cloud Run: un ambiente di esecuzione serverless per la creazione e la connessione di servizi cloud.
Architettura
Il warehouse di esempio distribuito da questa soluzione analizza l'e-commerce fittizio dati da TheLook per comprendere le prestazioni dell'azienda nel tempo. Il seguente diagramma mostra l'architettura delle risorse Google Cloud di cui la soluzione esegue il deployment.
Flusso della soluzione
L'architettura rappresenta un flusso di dati comune per compilare e trasformare i dati per un data warehouse:
- I dati vengono inviati a un Cloud Storage di sincronizzare la directory di una VM con un bucket.
- Workflows facilita lo spostamento dei dati.
- I dati vengono caricati BigQuery come tabella BigLake utilizzando una stored procedure SQL.
- I dati vengono trasformati in BigQuery utilizzando un'istanza SQL .
- Le dashboard vengono create dai dati per analizzarli ulteriormente con Looker Studio.
- I dati vengono analizzati utilizzando un modello k-means creato con BigQuery ML. L'analisi identifica pattern comuni, riassunti utilizzando lo strumento Funzionalità di IA di Vertex AI tramite BigQuery.
- Le funzioni di Cloud Run creano blocchi note Python con contenuti di apprendimento aggiuntivi.
Costo
Per una stima del costo delle risorse Google Cloud che dei data warehouse con le soluzioni BigQuery, controlla la stima precalcolata nel Calcolatore prezzi di Google Cloud.
Utilizza questa stima come punto di partenza per calcolare il costo del deployment. Puoi modificare la stima in base alle modifiche di configurazione che prevedi di apportare alle risorse utilizzate nella soluzione.
La stima precalcolata si basa su ipotesi relative a determinati fattori, tra cui:
- Le località Google Cloud in cui viene eseguito il deployment delle risorse.
La durata dell'utilizzo delle risorse.
La regione di dati in cui sono ospitati i dati.
Prima di iniziare
Per eseguire il deployment di questa soluzione, devi prima disporre di un progetto Google Cloud e di alcune autorizzazioni IAM.
Crea o scegli un progetto Google Cloud
Quando esegui il deployment della soluzione, scegli il progetto Google Cloud in cui vengono implementate le risorse. Puoi creare un nuovo progetto o utilizzare progetto esistente per il deployment.
Se vuoi creare un nuovo progetto, fallo prima di iniziare il deployment. L'utilizzo di un nuovo progetto può contribuire a evitare conflitti con le risorse di cui è stato eseguito il provisioning in precedenza, ad esempio quelle utilizzate per i carichi di lavoro di produzione.
Per creare un progetto, completa i seguenti passaggi:
-
In the Google Cloud console, go to the project selector page.
-
Click Create project.
-
Name your project. Make a note of your generated project ID.
-
Edit the other fields as needed.
-
Click Create.
Ottieni le autorizzazioni IAM richieste
Per avviare il processo di deployment, hai bisogno di Identity and Access Management (IAM) elencate nella tabella seguente.
Se hai creato un nuovo progetto per questa soluzione, disponi del roles/owner
ruolo di base
in quel progetto e di tutte le autorizzazioni necessarie. Se non disponi di
ruolo roles/owner
, poi chiedi all'amministratore di concedere queste autorizzazioni (oppure
i ruoli che includono queste autorizzazioni).
Autorizzazione IAM richiesta | Ruolo predefinito che include le autorizzazioni richieste |
---|---|
|
Amministratore Service Usage ( roles/serviceusage.serviceUsageAdmin ) |
|
Amministratore account di servizio ( roles/iam.serviceAccountAdmin ) |
|
Amministratore IAM del progetto ( roles/resourcemanager.projectIamAdmin ) |
config.deployments.create config.deployments.list |
Amministratore Cloud Infrastructure Manager ( roles/config.admin ) |
iam.serviceAccount.actAs |
Utente account di servizio ( roles/iam.serviceAccountUser ) |
Informazioni sulle autorizzazioni temporanee per gli account di servizio
Se avvii la procedura di implementazione tramite la console, Google crea un account di servizio per eseguire il deployment della soluzione per tuo conto (e per eliminare il deployment in un secondo momento, se lo desideri). A questo account di servizio vengono assegnate determinate autorizzazioni IAM temporaneamente, ovvero le autorizzazioni vengono revocate automaticamente al termine delle operazioni di implementazione ed eliminazione della soluzione. Google consiglia Dopo aver eliminato il deployment, elimini l'account di servizio, descritti più avanti in questa guida.
Visualizza i ruoli assegnati all'account di servizio
Questi ruoli sono elencati qui nel caso in cui un amministratore del tuo Il progetto o l'organizzazione Google Cloud richiede queste informazioni.
roles/aiplatform.admin
roles/bigquery.admin
roles/cloudfunctions.admin
roles/config.agent
roles/datalineage.viewer
roles/dataform.admin
roles/iam.serviceAccountAdmin
roles/iam.serviceAccountUser
roles/iam.serviceAccountTokenCreator
roles/logging.configWriter
roles/resourcemanager.projectIamAdmin
roles/run.invoker
roles/serviceusage.serviceUsageAdmin
roles/storage.admin
roles/workflows.admin
Esegui il deployment della soluzione
Per aiutarti a eseguire il deployment di questa soluzione con il minimo sforzo, su GitHub è disponibile una configurazione Terraform. La configurazione Terraform definisce tutte le risorse Google Cloud necessarie per la soluzione.
Puoi eseguire il deployment della soluzione utilizzando uno dei seguenti metodi:
Tramite la console: utilizza questo metodo se vuoi provare la soluzione con la configurazione predefinita e vedere come funziona. Cloud Build esegue il deployment di tutte le risorse necessarie per la soluzione. Quando la soluzione di cui hai eseguito il deployment non è più necessaria, puoi eliminarla tramite la console. Le risorse create dopo l'implementazione della soluzione potrebbero dover essere eliminate separatamente.
Per utilizzare questo metodo di deployment, segui le istruzioni in Esegui il deployment tramite la console.
Utilizzo della CLI Terraform: utilizza questo metodo se vuoi personalizzare la soluzione o se vuoi automatizzare il provisioning e la gestione delle risorse utilizzando l'approccio Infrastructure as Code (IaC). Scarica la configurazione Terraform da GitHub, personalizza facoltativamente il codice in base alle necessità, quindi esegui il deployment della soluzione utilizzando Terraform CLI. Dopo aver eseguito il deployment della soluzione, puoi continuare a utilizzare Terraform per gestirla.
Per utilizzare questo metodo di deployment, segui le istruzioni riportate in Eseguire il deployment utilizzando l'interfaccia a riga di comando Terraform.
Esegui il deployment tramite la console
Completa i seguenti passaggi per eseguire il deployment della soluzione preconfigurata.
Nel catalogo delle soluzioni di avvio rapido di Google Cloud, vai alla Data warehouse con BigQuery.
Esamina le informazioni fornite nella pagina, ad esempio il costo stimato della soluzione e il tempo di deployment stimato.
Quando è tutto pronto per iniziare il deployment della soluzione, fai clic su Esegui il deployment.
Viene visualizzato un riquadro di configurazione passo passo.
Completa i passaggi nel riquadro di configurazione.
Prendi nota del nome inserito per il deployment. Questo nome è obbligatorio in un secondo momento quando elimini il deployment.
Quando fai clic su Esegui il deployment, viene visualizzata la pagina Deployment di soluzioni. Il campo Stato in questa pagina mostra Deployment in corso.
Attendi il deployment della soluzione.
Se il deployment non riesce, il campo Stato mostra Non riuscito. Puoi utilizzare il log di Cloud Build per diagnosticare gli errori. Per maggiori informazioni le informazioni, vedi Errori durante il deployment tramite la console.
Al termine del deployment, il campo Stato diventa Deployment eseguito.
Per verificare le risorse di cui è stato eseguito il deployment, fai clic sul menu Azioni
e seleziona Visualizza risorse.La pagina Inventario asset della console Google Cloud si apre in una nuova scheda del browser. La pagina elenca gli oggetti BigQuery, la funzione Cloud Run, il flusso di lavoro Workflows, l'argomento Pub/Sub e le risorse di trigger Eventarc di cui è stato eseguito il deployment dalla soluzione.
Per visualizzare i dettagli di ogni risorsa, fai clic sul suo nome nel Colonna Nome visualizzato.
Per visualizzare e utilizzare la soluzione, torna a Deployment della soluzione nella console.
- Fai clic sulla Menu Azioni.
- Seleziona Visualizza dashboard di Looker Studio per aprire una dashboard basata sui dati di esempio trasformati utilizzando la soluzione.
- Seleziona Apri Editor BigQuery per eseguire query e creare modelli di machine learning (ML) utilizzando i dati di esempio nella soluzione.
Quando la soluzione non ti serve più, puoi eliminare il deployment per evitare e la fatturazione continua per le risorse Google Cloud. Per ulteriori informazioni, consulta la sezione Elimina il deployment.
Esegui il deployment utilizzando l'interfaccia a riga di comando di Terraform
Questa sezione descrive come puoi personalizzare la soluzione o automatizzare il provisioning e la gestione della soluzione tramite l'interfaccia a riga di comando di Terraform. Le soluzioni di cui esegui il deployment utilizzando l'interfaccia a riga di comando di Terraform non vengono visualizzate nel Pagina Deployment delle soluzioni nella console Google Cloud.
Configura il client Terraform
Puoi eseguire Terraform in Cloud Shell o sul tuo host locale. Questa guida descrive come eseguire Terraform in Cloud Shell, che ha Terraform preinstallato e configurato per l'autenticazione con Google Cloud.
Il codice Terraform per questa soluzione è disponibile in un repository GitHub.
Clona il repository GitHub in Cloud Shell.
Viene visualizzato un messaggio per confermare il download del repository GitHub in Cloud Shell.
Fai clic su Conferma.
Cloud Shell viene avviato in una scheda del browser separata e il codice Terraform viene scaricato nella directory
$HOME/cloudshell_open
del tuo ambiente Cloud Shell.In Cloud Shell, controlla se la directory di lavoro attuale è
$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. Questo è il contenente i file di configurazione Terraform per la soluzione. Se devi passare a questa directory, esegui il seguente comando:cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
Inizializza Terraform eseguendo il seguente comando:
terraform init
Attendi finché non viene visualizzato il seguente messaggio:
Terraform has been successfully initialized!
Configura le variabili Terraform
Il codice Terraform che hai scaricato include variabili che puoi utilizzare per personalizzare il deployment in base ai tuoi requisiti. Ad esempio, puoi specificare il progetto Google Cloud e la regione in cui vuoi che venga utilizzata la soluzione di cui è stato eseguito il deployment.
Assicurati che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. Se non lo è, vai a quella directory.Nella stessa directory, crea un file di testo denominato
terraform.tfvars
.Nel file
terraform.tfvars
, copia il seguente snippet di codice e imposta per le variabili richieste.- Segui le istruzioni fornite sotto forma di commenti nel codice snippet di codice.
- Questo snippet di codice include solo le variabili per le quali devi impostare
e i relativi valori. La configurazione di Terraform include altre variabili con valori predefiniti. Per esaminare tutte le variabili e i valori predefiniti, consulta il file
variables.tf
disponibile nella directory$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. - Assicurati che ogni valore impostato nel file
terraform.tfvars
sia corrispondente al tipo di variabile dichiarato nel filevariables.tf
. Ad esempio, se il tipo definito per una variabile nel filevariables.tf
èbool
, devi specificaretrue
ofalse
come valore della variabile nel fileterraform.tfvars
.
# This is an example of the terraform.tfvars file. # The values in this file must match the variable types declared in variables.tf. # The values in this file override any defaults in variables.tf. # ID of the project in which you want to deploy the solution project_id = "PROJECT_ID" # Google Cloud region where you want to deploy the solution # Example: us-central1 region = "REGION" # Whether or not to enable underlying apis in this solution. # Example: true enable_apis = true # Whether or not to protect BigQuery resources from deletion when solution is modified or changed. # Example: false force_destroy = false # Whether or not to protect Cloud Storage resources from deletion when solution is modified or changed. # Example: true deletion_protection = true # Name of the BigQuery ML GenAI remote model used for text generation # Example: "text_generate_model" text_generation_model_name = "text_generate_model"
Per informazioni sui valori che puoi assegnare alle variabili richieste, consulta quanto segue:
project_id
: Identificazione dei progettiregion
: regioni e zone disponibili
Convalida e rivedi la configurazione di Terraform
Assicurati che la directory di lavoro corrente sia
$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. Se non lo è, vai a quella directory.Verifica che la configurazione di Terraform non presenti errori:
terraform validate
Se il comando restituisce errori, apporta le correzioni necessarie nella configurazione ed esegui di nuovo il comando
terraform validate
. Ripeti questo passaggio finché il comando non restituisce il seguente messaggio:Success! The configuration is valid.
Esamina le risorse definite nella configurazione:
terraform plan
Se non hai creato il file
terraform.tfvars
come описано sopra, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori richiesti.L'output del comando
terraform plan
è un elenco delle risorse di cui Terraform esegue il provisioning quando applichi la configurazione.Se vuoi apportare modifiche, modifica la configurazione ed esegui di nuovo i comandi
terraform validate
eterraform plan
.
Esegui il provisioning delle risorse
Quando non sono necessarie ulteriori modifiche alla configurazione di Terraform, esegui il deployment delle risorse.
Assicurati che la directory di lavoro corrente sia
$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. Se non lo è, vai a quella directory.Applica la configurazione Terraform:
terraform apply
Se non hai creato il file
terraform.tfvars
come описано sopra, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori richiesti.Terraform mostra un elenco delle risorse che verranno create.
Quando ti viene chiesto di eseguire le azioni, inserisci
yes
.Terraform visualizza dei messaggi che mostrano l'avanzamento del deployment.
Se il deployment non può essere completato, Terraform mostra gli errori che hanno causato il fallimento. Esamina i messaggi di errore e aggiorna la configurazione per correggerli. Quindi esegui di nuovo il comando
terraform apply
. Per assistenza con la risoluzione degli errori di Terraform, consulta Errori durante il deployment della soluzione utilizzando l'interfaccia a riga di comando Terraform.Al termine della creazione di tutte le risorse, Terraform visualizza quanto segue messaggio:
Apply complete!
L'output di Terraform elenca anche le seguenti informazioni aggiuntive ti serviranno:
- L'URL di Looker Studio della dashboard di cui è stato eseguito il deployment.
- Il link per aprire l'editor BigQuery per alcune query di esempio.
L'esempio seguente mostra l'output:
lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=8a6517b8-8fcd-47a2-a953-9d4fb9ae4794&ds.ds_profit.datasourceName=lookerstudio_report_profit&ds.ds_profit.projectId=my-cloud-project&ds.ds_profit.type=TABLE&ds.ds_profit.datasetId=ds_edw&ds.ds_profit.tableId=lookerstudio_report_profit&ds.ds_dc.datasourceName=lookerstudio_report_distribution_centers&ds.ds_dc.projectId=my-cloud-project&ds.ds_dc.type=TABLE&ds.ds_dc.datasetId=ds_edw&ds.ds_dc.tableId=lookerstudio_report_distribution_centers" bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
Per visualizzare e utilizzare la dashboard ed eseguire query in BigQuery, copia gli URL di output dal passaggio precedente e apri gli URL in nuove schede del browser.
La dashboard e l'editor di BigQuery vengono visualizzati nelle nuove schede.
Per visualizzare tutte le risorse Google Cloud di cui è stato eseguito il deployment, fai un tour interattivo.
Quando la soluzione non ti serve più, puoi eliminare il deployment per evitare e la fatturazione continua per le risorse Google Cloud. Per ulteriori informazioni, consulta la sezione Elimina il deployment.
Personalizzare la soluzione
Questa sezione fornisce informazioni che gli sviluppatori Terraform possono utilizzare per modificare il data warehouse con la soluzione BigQuery al fine di soddisfare le esigenze tecniche e requisiti aziendali. Le indicazioni in questa sezione sono pertinenti soltanto se eseguire il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform.
Dopo aver visto come funziona la soluzione con i dati di esempio, è consigliabile
lavorare con i tuoi dati. Per utilizzare i tuoi dati, li inserisci nella
Bucket Cloud Storage denominato edw-raw-hash
. L'hash è un insieme casuale di 8 caratteri generato durante il deployment. Puoi modificare il codice Terraform nei seguenti modi:
- ID set di dati. Modifica il codice Terraform in modo che, quando crea il set di dati BigQuery, utilizzi l'ID set di dati che vuoi utilizzare per i tuoi dati.
- Schema. Modifica il codice Terraform in modo che crei l'ID tabella BigQuery che vuoi utilizzare per archiviare i dati. È incluso lo schema della tabella esterna, in modo che BigQuery possa per leggere i dati da Cloud Storage.
- Query pianificate. Aggiungi le stored procedure che eseguono l'analisi che ti interessa.
- Dashboard di Looker. Cambia il codice Terraform che crea un'istanza di Looker in modo che riflettano i dati che che stai utilizzando.
Di seguito sono riportati oggetti di data warehouse comuni, che mostrano il codice di esempio Terraform in main.tf
.
-
dataset BigQuery: Lo schema in cui gli oggetti di database vengono raggruppati e archiviati.
resource "google_bigquery_dataset" "ds_edw" { project = module.project-services.project_id dataset_id = "DATASET_PHYSICAL_ID" friendly_name = "DATASET_LOGICAL_NAME" description = "DATASET_DESCRIPTION" location = "REGION" labels = var.labels delete_contents_on_destroy = var.force_destroy }
-
Tabella BigQuery: un oggetto database che rappresenta i dati archiviati in BigQuery o uno schema di dati archiviato in Cloud Storage.
resource "google_bigquery_table" "tbl_edw_inventory_items" { dataset_id = google_bigquery_dataset.ds_edw.dataset_id table_id = "TABLE_NAME" project = module.project-services.project_id deletion_protection = var.deletion_protection ... }
-
Stored procedure BigQuery: Oggetto database che rappresenta una o più istruzioni SQL da eseguire quando viene chiamato. come trasformare i dati da una tabella all'altra per caricare i dati da una tabella esterna in una tabella standard.
resource "google_bigquery_routine" "sp_sample_translation_queries" { project = module.project-services.project_id dataset_id = google_bigquery_dataset.ds_edw.dataset_id routine_id = "sp_sample_translation_queries" routine_type = "PROCEDURE" language = "SQL" definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id }) }
-
Query programmata di BigQuery: un'utilità per pianificare l'esecuzione di una query o di una stored procedure con una frequenza specificata.
resource "google_bigquery_data_transfer_config" "dts_config" { display_name = "TRANSFER_NAME" project = module.project-services.project_id location = "REGION" data_source_id = "scheduled_query" schedule = "every day 00:00" params = { query = "CALL
${module.project-services.project_id}.ds_edw.sp_lookerstudio_report
()" } }
Per personalizzare la soluzione, completa i seguenti passaggi in Cloud Shell:
Verifica che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. In caso contrario, apri la directory:cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
Apri
main.tf
e apporta le modifiche desiderate.Per ulteriori informazioni sugli effetti di questa personalizzazione su affidabilità, sicurezza, prestazioni, costi e operazioni, consulta i suggerimenti per la progettazione.
Suggerimenti di progettazione
Questa sezione fornisce suggerimenti per l'utilizzo della soluzione data warehouse con BigQuery per sviluppare un'architettura che soddisfi i tuoi requisiti di sicurezza, affidabilità, costi e prestazioni.
Quando inizi a scalare con BigQuery, hai a disposizione una serie per migliorare le prestazioni delle query e ridurre la spesa totale. Questi metodi includono la modifica della modalità di archiviazione fisica dei dati, per le query SQL e l'uso delle prenotazioni di slot per assicurare prestazioni in termini di costi. Per per ulteriori informazioni su come scalare ed eseguire il tuo data warehouse, consulta Introduzione all'ottimizzazione delle prestazioni delle query.
Tieni presente quanto segue:
- Prima di apportare modifiche al design, valuta l'impatto sui costi e prendi in considerazione i potenziali compromessi con altre funzionalità. Puoi valutare l'impatto sui costi le modifiche al design utilizzando Calcolatore prezzi di Google Cloud.
- Per implementare le modifiche al design nella soluzione, devi avere esperienza nella programmazione di Terraform e conoscenze avanzate dei servizi Google Cloud utilizzati nella soluzione.
- Se modifichi la configurazione Terraform fornita da Google e poi riscontri errori, crea dei problemi su GitHub. I problemi di GitHub vengono esaminati secondo il criterio del "best effort" e non sono destinati a domande sull'utilizzo generale.
- Per ulteriori informazioni sulla progettazione e sulla configurazione di ambienti di produzione in Google Cloud, consulta Design delle zone di destinazione in Google Cloud e Elenco di controllo per la configurazione di Google Cloud.
Elimina il deployment
Quando non hai più bisogno del deployment della soluzione, per evitare la fatturazione continua per le risorse che hai creato, elimina il deployment.
Eliminazione tramite la console
Utilizza questa procedura se hai eseguito il deployment della soluzione tramite la console.
Nella console Google Cloud, vai alla pagina Deployment della soluzione.
Vai a Deployment di soluzioni
Seleziona il progetto che contiene il deployment da eliminare.
Individua il deployment da eliminare.
Nella riga relativa al deployment, fai clic su
Azioni e poi seleziona Elimina.Potresti dover scorrere per visualizzare Azioni nella riga.
Inserisci il nome del deployment e fai clic su Conferma.
Il campo Stato mostra Eliminazione.
Se l'eliminazione non riesce, consulta le indicazioni per la risoluzione dei problemi in Errore durante l'eliminazione di un deployment.
Quando non hai più bisogno del progetto Google Cloud utilizzato per la soluzione, puoi eliminarlo. Per ulteriori informazioni, consulta la sezione Facoltativo: elimina il progetto.
Elimina utilizzando l'interfaccia a riga di comando di Terraform
Utilizza questa procedura se hai eseguito il deployment della soluzione mediante l'interfaccia a riga di comando di Terraform.
In Cloud Shell, assicurati che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
. Se non lo è, vai a quella directory.Rimuovi le risorse di cui Terraform ha eseguito il provisioning:
terraform destroy
Terraform visualizza un elenco delle risorse che verranno eliminate.
Quando ti viene chiesto di eseguire le azioni, inserisci
yes
.In Terraform vengono visualizzati dei messaggi che mostrano l'avanzamento. Dopo che tutte le risorse sono state eliminate, Terraform mostra il seguente messaggio:
Destroy complete!
Se l'eliminazione non riesce, consulta le indicazioni per la risoluzione dei problemi in Errore durante l'eliminazione di un deployment.
Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, possono eliminare il progetto. Per ulteriori informazioni, consulta la sezione Facoltativo: elimina il progetto.
(Facoltativo) Elimina il progetto
Se hai eseguito il deployment della soluzione in un nuovo progetto Google Cloud il progetto, quindi eliminalo completando i seguenti passaggi:
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Al prompt, digita l'ID progetto, quindi fai clic su Chiudi.
Se decidi di conservare il progetto, elimina l'account di servizio che era creato per questa soluzione, come descritto nella sezione successiva.
(Facoltativo) Elimina l'account di servizio
Se hai eliminato il progetto utilizzato per la soluzione, salta questa sezione.
Come indicato in precedenza in questa guida, quando hai eseguito il deployment della soluzione, è stato creato per tuo conto. All'account di servizio sono state assegnate determinate autorizzazioni IAM temporaneamente, ovvero le autorizzazioni sono state revocate automaticamente al termine delle operazioni di deployment ed eliminazione della soluzione, ma l'account di servizio non è stato eliminato. Google consiglia di elimini questo account di servizio.
Se hai eseguito il deployment della soluzione tramite la console Google Cloud, vai alla pagina Deployment di soluzioni. Se ti trovi già in questa pagina, aggiorna la pagina del browser. Viene attivato un processo in background per eliminare l'account di servizio. Non sono necessari ulteriori interventi.
Se hai eseguito il deployment della soluzione utilizzando l'interfaccia a riga di comando di Terraform, completa i seguenti passaggi:
Nella console Google Cloud, vai alla pagina Account di servizio.
Seleziona il progetto utilizzato per la soluzione.
Seleziona l'account di servizio che vuoi eliminare.
L'ID indirizzo email dell'account di servizio creato per la soluzione è nel seguente formato:
goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
L'ID email contiene i seguenti valori:
- DEPLOYMENT_NAME: il nome del deployment.
- NNN: un numero casuale di 3 cifre.
- PROJECT_ID: l'ID del progetto in cui di cui è stato eseguito il deployment della soluzione.
Fai clic su Elimina.
Risolvere gli errori
Le azioni che puoi intraprendere per diagnosticare e risolvere gli errori dipendono dal metodo di implementazione e dalla complessità dell'errore.
Errori durante il deployment tramite la console
Se il deployment non va a buon fine quando utilizzi la console, segui questi passaggi:
Vai alla pagina Deployment di soluzioni.
Se il deployment non è riuscito, il campo Stato mostra Non riuscito.
Visualizza i dettagli degli errori che hanno causato l'errore:
Nella riga del deployment, fai clic su
Azioni.Potresti dover scorrere per visualizzare Azioni nella riga.
Seleziona Visualizza i log di Cloud Build.
Esamina il log di Cloud Build e intervieni di conseguenza per risolvere il problema che ha causato l'errore.
Errori durante il deployment utilizzando l'interfaccia a riga di comando Terraform
Se il deployment non riesce quando utilizzi Terraform, l'output del comando terraform
apply
include messaggi di errore che puoi esaminare per diagnosticare la richiesta.
problema.
Gli esempi nelle sezioni seguenti mostrano errori di deployment che potresti incontrato nell'uso di Terraform.
Errore API non abilitata
Se crei un progetto e poi provi immediatamente a eseguire il deployment della soluzione nel nuovo progetto, il deployment potrebbe non riuscire con un errore simile al seguente:
Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.
Se si verifica questo errore, attendi qualche minuto ed esegui terraform apply
il comando precedente.
Impossibile assegnare l'indirizzo richiesto
Quando esegui il comando terraform apply
, potrebbe verificarsi un errore cannot assign requested address
con un messaggio simile al seguente:
Error: Error creating service account:
Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
dial tcp [2001:db8:ffff:ffff::5f]:443:
connect: cannot assign requested address
Se si verifica questo errore, esegui di nuovo il comando terraform apply
.
Errori di accesso ai dati in BigQuery o Looker Studio
Esiste un passaggio di provisioning che viene eseguito dopo i passaggi di provisioning di Terraform e carica i dati nell'ambiente. Se ricevi un errore durante il caricamento dei dati nella dashboard di Looker Studio o se non sono presenti oggetti quando inizi a esplorare BigQuery, attendi qualche minuto e riprova.
Errore durante l'eliminazione di un deployment
In alcuni casi, i tentativi di eliminare un deployment potrebbero non riuscire:
- Dopo aver eseguito il deployment di una soluzione tramite la console, modificare qualsiasi risorsa di cui la soluzione ha eseguito il provisioning, e se poi provi per eliminare il deployment, l'eliminazione potrebbe non riuscire. Il campo Status (Stato) nella La pagina Deployment di soluzioni mostra lo stato Non riuscito e Il log di Cloud Build mostra la causa dell'errore.
- Dopo aver eseguito il deployment di una soluzione mediante l'interfaccia a riga di comando di Terraform, se modifichi
utilizzando un'interfaccia non Terraform (ad esempio,
la console) e, se provi a eliminare il deployment,
l'eliminazione potrebbe non riuscire. I messaggi nell'output del comando
terraform destroy
mostrano la causa dell'errore.
Esamina i log e i messaggi di errore, identifica ed elimina le risorse che hanno causato l'errore, quindi riprova a eliminare il deployment.
Se un deployment basato sulla console non viene eliminato e non riesci a diagnosticare l'errore utilizzando il log di Cloud Build, puoi eliminare il deployment utilizzando Terraform CLI, come descritto nella sezione successiva.
Elimina un deployment basato su console utilizzando l'interfaccia a riga di comando di Terraform
Questa sezione descrive come eliminare un deployment basato sulla console se si verificano errori quando provi a eliminarlo tramite la console. Nella questo approccio, scaricherai la configurazione Terraform per il deployment che vuoi eliminare, quindi usa l'interfaccia a riga di comando Terraform per eliminare il deployment.
Identifica la regione in cui sono archiviati il codice Terraform, i log e altri dati del deployment. che potrebbe essere diversa da quella in cui selezionato durante il deployment della soluzione.
Nella console Google Cloud, vai a Deployment della soluzione .
Vai a Deployment di soluzioni
Seleziona il progetto che contiene il deployment da eliminare.
Nell'elenco dei deployment, identifica la riga del deployment che vuoi eliminare.
Fai clic su
Visualizza tutti i contenuti della riga.Nella colonna Località, controlla la seconda posizione, come evidenziata nel seguente esempio:
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Crea variabili di ambiente per l'ID progetto, la regione e il nome del deployment che vuoi eliminare:
export REGION="REGION" export PROJECT_ID="PROJECT_ID" export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
In questi comandi, sostituisci quanto segue:
- REGION: la località che hai annotato in precedenza in questa procedura.
- PROJECT_ID: l'ID del progetto in cui hai eseguito il deployment della soluzione.
- DEPLOYMENT_NAME: il nome del deployment che vuoi eliminare.
Recupera l'ID dell'ultima revisione del deployment che vuoi eliminare:
export REVISION_ID=$(curl \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \ | jq .latestRevision -r) echo $REVISION_ID
L'output è simile al seguente:
projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0
Ottieni il percorso Cloud Storage della configurazione Terraform per del deployment:
export CONTENT_PATH=$(curl \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \ | jq .applyResults.content -r) echo $CONTENT_PATH
Di seguito è riportato un esempio dell'output di questo comando:
gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content
Scarica la configurazione Terraform da Cloud Storage in Cloud Shell:
gcloud storage cp $CONTENT_PATH $HOME --recursive cd $HOME/content/modules/data_warehouse
Attendi che venga visualizzato il messaggio
Operation completed
, come mostrato nell'esempio seguente:Operation completed over 45 objects/268.5 KiB
Inizializza Terraform:
terraform init
Attendi finché non viene visualizzato il seguente messaggio:
Terraform has been successfully initialized!
Rimuovi le risorse di cui è stato eseguito il deployment:
terraform destroy
Terraform visualizza un elenco delle risorse che verranno eliminate.
Se vengono visualizzati avvisi relativi a variabili non dichiarate, ignora il comando avvisi.
Quando ti viene chiesto di eseguire le azioni, inserisci
yes
.In Terraform vengono visualizzati dei messaggi che mostrano l'avanzamento. Dopo che tutte le risorse sono state eliminate, Terraform mostra il seguente messaggio:
Destroy complete!
Elimina l'elemento del deployment:
curl -X DELETE \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"
Attendi qualche secondo e verifica che l'elemento di deployment sia stato eliminato:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \ | jq .error.message
Se l'output mostra
null
, attendi qualche secondo ed esegui il comando di nuovo.Dopo l'eliminazione dell'artefatto di deployment, verrà visualizzato un messaggio come mostrato che viene visualizzato l'esempio seguente:
Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found
Invia feedback
Le soluzioni già pronte sono solo a scopo informativo e non sono ufficialmente prodotti supportati. Google potrebbe modificare o rimuovere le soluzioni senza preavviso.
Per risolvere gli errori, esamina i log di Cloud Build e come output.
Per inviare un feedback:
- Per la documentazione, i tutorial nella console o la soluzione, usa sul pulsante Invia feedback nella pagina.
- Per il codice Terraform non modificato, crea problemi nel Repository GitHub. I problemi di GitHub vengono esaminati secondo il criterio del "best effort" e non sono destinati a domande sull'utilizzo generale.
- Per problemi relativi ai prodotti utilizzati nella soluzione, contatta l'assistenza clienti Google Cloud.
Passaggi successivi
- Scopri di più su BigQuery
- Genera testo utilizzando la funzione ML.GENERATE_TEXT
- Scopri di più su Looker Studio