Soluzione Start Jump: Pipeline di analisi dei log

Last reviewed 2023-04-10 UTC

Anteprima - Jump Start Solution

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Questa guida ti aiuta a comprendere, eseguire il deployment e utilizzare la pipeline di analisi dei log Jump Solution, che mostra come un flusso di dati delle applicazioni viene acquisito da più origini e reso disponibile per l'analisi.

Puoi eseguire il deployment della soluzione per estrarre e analizzare i log web da un'applicazione, che può aiutarti a:

• Tieni traccia dell'accesso alle risorse dell'applicazione.
• Identifica e reagisci ai pattern di utilizzo nella tua applicazione.
• Analizza e risolvi i problemi di prestazioni.

Per ulteriori informazioni sull'implementazione e sulle best practice di logging, consulta Monitoraggio e logging delle risorse.

Questo documento è destinato agli sviluppatori con background di analisi e elaborazione dei dati delle applicazioni. Si presume che tu conosca i concetti di base del cloud, anche se non necessariamente Google Cloud. L'esperienza con Terraform è utile.

Nota: questa soluzione ti aiuta a esplorare le funzionalità di Google Cloud. Questa soluzione non è destinata a essere utilizzata come per gli ambienti di produzione. Per informazioni sulla progettazione e la configurazione di ambienti di livello enterprise in Google Cloud, consulta Progettazione della zona di destinazione in Google Cloud e Elenco di controllo per la configurazione di Google Cloud.

Obiettivi

Questa guida alle soluzioni ti aiuta a:

• Scopri come i dati confluiscono in una pianificazione dal cloud e dalle origini on-premise a varie opzioni di Cloud Storage, fino al flusso di lavoro di analisi.
• Eseguire il deployment di una pipeline di esempio che acquisisce, archivia ed elabora log web di esempio da un'applicazione in esecuzione su Cloud Run.
• Analizza le informazioni di log eseguendo query sui dati archiviati nelle tabelle BigQuery e visualizzando i dati nei report di Looker Studio.

Architettura

Questa soluzione include esempi di log web che acquisiscono le interazioni degli utenti con un'applicazione web, inclusi accessi, richieste e modifiche ai dati. Il seguente diagramma mostra l'architettura della soluzione:

Flusso di richiesta

Di seguito è riportato il flusso di elaborazione della richiesta della pipeline di analisi dei log di cui questa deployment esegue il deployment. I passaggi del flusso sono numerati come mostrato nel diagramma di architettura precedente.

1. Un server web di cui è stato eseguito il deployment su Cloud Run genera log web quando un utente visita un sito web di cui è stato eseguito il deployment sul server web. I log web vengono inviati automaticamente a Cloud Logging.

2. Cloud Logging instrada i log web a una tabella designata in BigQuery, in base a una pianificazione nella configurazione del sink di Cloud Logging.

3. Applicazioni in esecuzione su altri cloud o on-premise, caricano file di log web in un bucket Cloud Storage (questo deployment include un file di testo contenente un file di log web di esempio in formato JSON).

4. BigQuery Data Transfer Service trasferisce periodicamente i file di log web in una tabella designata in BigQuery, in base alla configurazione di trasferimento di BigQuery Data Transfer Service.

5. Puoi eseguire query sui log web nella tabella oppure utilizzare Looker Studio per visualizzare i log web.

Componenti e configurazione

L'architettura include i seguenti componenti:

Componente	Descrizione del prodotto	Scopo di questa soluzione
Cloud Run	Un servizio completamente gestito che ti consente di creare ed eseguire il deployment di app containerizzate serverless. Google Cloud gestisce la scalabilità e altre attività dell'infrastruttura per consentirti di concentrarti sulla logica di business del tuo codice.	Ospita la tua applicazione e la abilita per eseguire e generare log web.
Cloud Logging	un servizio che ti consente di archiviare, cercare, analizzare, monitorare e creare avvisi su dati di log ed eventi di Google Cloud e altri cloud.	Indirizza i log web dalle applicazioni ospitate su Cloud Run al data warehouse in base a una pianificazione.
BigQuery	Un data warehouse completamente gestito e a elevata scalabilità con funzionalità di machine learning integrate.	Archivia i log generati dall'applicazione e fornisce strumenti per analizzare i dati.
BigQuery Data Transfer Service	Un servizio che trasferisce i dati da origini cloud o on-premise al data warehouse BigQuery in modo sicuro e a basso costo.	Sposta periodicamente i file di log generati (da applicazioni in esecuzione su altri cloud e on-premise) da Cloud Storage al data warehouse BigQuery.
Cloud Storage	Un servizio di livello enterprise che fornisce archiviazione di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloud e vengono replicati con ridondanza geografica.	Funge da data lake in cui le applicazioni in esecuzione su altri cloud e on-premise caricano file di log web. Questi file vengono trasferiti nel data warehouse BigQuery. In questo deployment è incluso un file di log web di esempio.
Looker Studio	una piattaforma self-service di business intelligence che ti aiuta a creare e condividere approfondimenti sui dati.	Offre un modo per creare visualizzazioni a partire dalle informazioni dei log web.

Costo

Per una stima del costo delle risorse Google Cloud utilizzate dalla soluzione della pipeline di analisi dei log, consulta la stima precalcolata nel Calcolatore prezzi di Google Cloud.

Usa la stima come punto di partenza per calcolare il costo del deployment. Puoi modificare la stima per riflettere eventuali modifiche alla configurazione che prevedi di apportare per le risorse utilizzate nella soluzione.

La stima precalcolata si basa su ipotesi per determinati fattori, tra cui:

• Le località Google Cloud in cui viene eseguito il deployment delle risorse.

• La quantità di tempo di utilizzo delle risorse.

• La quantità di dati che archivi e analizzi con BigQuery.

Esegui il deployment della soluzione

Questa sezione ti guiderà nel processo di deployment della soluzione.

Crea o scegli un progetto Google Cloud

Quando esegui il deployment della soluzione, scegli il progetto Google Cloud in cui esegui il deployment delle risorse. Quando decidi se utilizzare un progetto esistente o crearne uno nuovo, considera i seguenti fattori:

• Se crei un progetto per la soluzione, quando non hai più bisogno del deployment, puoi eliminare il progetto ed evitare la fatturazione continua. Se utilizzi un progetto esistente, devi eliminare il deployment quando non ti serve più.
• L'utilizzo di un nuovo progetto può aiutare a evitare conflitti con le risorse di cui è stato eseguito il provisioning in precedenza, ad esempio le risorse utilizzate per i carichi di lavoro di produzione.

Se vuoi eseguire il deployment della soluzione in un nuovo progetto, crea il progetto prima di iniziare il deployment.

Per creare un progetto, completa i seguenti passaggi:

1. Nella console Google Cloud, vai alla pagina del selettore progetto.

   Vai al selettore progetti

2. Per iniziare a creare un progetto Google Cloud, fai clic su Crea progetto.

3. Assegna un nome al progetto. Prendi nota dell'ID progetto generato.

4. Modifica gli altri campi in base alle tue esigenze.

5. Per creare il progetto, fai clic su Crea.

Ottenere le autorizzazioni IAM richieste

Per avviare il processo di deployment, devi disporre delle autorizzazioni IAM (Identity and Access Management) elencate nella seguente tabella. Se disponi del roles/owner ruolo di base per il progetto in cui prevedi di eseguire il deployment della soluzione, disponi già di tutte le autorizzazioni necessarie. Se non hai il ruolo roles/owner, chiedi all'amministratore di concederti queste autorizzazioni (o i ruoli che le includono).

Autorizzazione IAM richiesta	Ruolo predefinito che include le autorizzazioni richieste
serviceusage.services.enable	Amministratore per l'utilizzo del servizio (roles/serviceusage.serviceUsageAdmin)
iam.serviceAccounts.create	Amministratore account di servizio (roles/iam.serviceAccountAdmin)
resourcemanager.projects.setIamPolicy	Amministratore IAM del progetto (roles/resourcemanager.projectIamAdmin)
config.deployments.create config.deployments.list	Amministratore Cloud Config Manager (roles/config.admin)

Account di servizio creato per la soluzione

Quando avvii il processo di deployment, viene creato un account di servizio per eseguire il deployment della soluzione per tuo conto (ed eliminare il deployment in seguito, se preferisci). A questo account di servizio vengono assegnate temporaneamente alcune autorizzazioni IAM, ovvero vengono revocate automaticamente al termine delle operazioni di deployment ed eliminazione della soluzione. Google consiglia di eliminare l'account di servizio dopo aver eliminato il deployment, come descritto in seguito in questa guida.

Visualizza i ruoli assegnati all'account di servizio

Questi ruoli sono elencati qui se il tuo amministratore ha bisogno di queste informazioni.

• roles/bigquery.admin
• roles/iam.serviceAccountAdmin
• roles/iam.serviceAccountUser
• roles/logging.configWriter
• roles/resourcemanager.projectIamAdmin
• roles/run.admin
• roles/serviceusage.serviceUsageAdmin
• roles/storage.admin

Scegli un metodo di deployment

Puoi eseguire il deployment di questa soluzione utilizzando i seguenti metodi:

• Dalla console: utilizza questo metodo se vuoi provare la soluzione così com'è e vedere come funziona. Cloud Build esegue il deployment di tutte le risorse necessarie per la soluzione. Quando non hai più bisogno della soluzione di cui hai eseguito il deployment, puoi eliminarla utilizzando la console. Qualsiasi risorsa creata dopo il deployment della soluzione potrebbe dover essere eliminata separatamente.

  Per utilizzare questo metodo di deployment, segui le istruzioni riportate in Eseguire il deployment dalla console.

• Utilizzo di Terraform: utilizza questo metodo se vuoi personalizzare la soluzione o se vuoi automatizzare il provisioning e la gestione delle risorse utilizzando l'approccio IaC (Infrastructure as Code). Scarica la configurazione Terraform da GitHub, personalizza facoltativamente il codice in base alle esigenze, quindi esegui il deployment della soluzione utilizzando Terraform. Dopo aver eseguito il deployment della soluzione, puoi continuare a utilizzare Terraform per gestire la soluzione.

  Per utilizzare questo metodo di deployment, segui le istruzioni riportate in Deployment con Terraform.

Distribuisci dalla console

Completa i seguenti passaggi per eseguire il deployment della soluzione preconfigurata così com'è.

Nota: se vuoi personalizzare la soluzione o automatizzare le operazioni di provisioning e gestione utilizzando l'approccio Infrastructure as a Code (IaC), consulta Esegui il deployment utilizzando Terraform.

1. Nel catalogo Google Cloud Jump Start Solutions, vai alla pagina Pipeline di analisi dei log.

2. Rivedi le informazioni fornite nella pagina, ad esempio il costo stimato della soluzione e i tempi di deployment.

3. Quando è tutto pronto per iniziare a eseguire il deployment della soluzione, fai clic su Esegui il deployment.

   Viene visualizzata una guida interattiva passo passo.

4. Completa i passaggi nella guida interattiva:

   1. Seleziona un progetto in cui vuoi creare risorse di cui hai eseguito il deployment mediante la soluzione e fai clic su Continua.

   2. Nel campo Nome deployment, digita un nome che non hai mai utilizzato in questo progetto.

   3. Se vuoi, aggiungi un'etichetta di identificazione al deployment. (gli indicatori delle soluzioni e le etichette dei nomi dei deployment vengono aggiunti automaticamente). Puoi utilizzare le etichette per organizzare le risorse in base a criteri come centro di costo, ambiente o stato.

      Per scoprire di più sulle etichette, consulta Creazione e gestione delle etichette

   4. Dall'elenco Regione, seleziona la regione in cui verranno create le risorse.

      Per maggiori informazioni sulle regioni, consulta la pagina Regioni e regioni

5. Dopo aver specificato le opzioni, fai clic su Esegui il deployment.

   Viene visualizzata la pagina Deployment di soluzioni. Il campo Stato in questa pagina mostra Deployment.

6. Attendi il deployment della soluzione.

   Se il deployment non va a buon fine, nel campo Status (Stato) viene visualizzato Failed (Non riuscito). Puoi utilizzare il log di Cloud Build per diagnosticare gli errori. Per maggiori informazioni, consulta la sezione Errori durante il deployment dalla console

   Al termine del deployment, il campo Stato diventa Deployment eseguito.

7. Per visualizzare le risorse Google Cloud di cui è stato eseguito il deployment e la relativa configurazione, fai un tour interattivo.

   Inizia il tour

Utilizza la soluzione

Una volta completato il deployment della soluzione, puoi interagire con il container per assicurarti che sia in esecuzione e iniziare l'analisi. Completa i seguenti passaggi per utilizzare la soluzione.

1. Nella pagina Deployment di soluzioni, fai clic sul menu Azioni.

2. Per visualizzare il sito dimostrativo per l'immagine container di Cloud Run, fai clic su Visualizza sito dimostrativo.

   Il sito dimostrativo contiene informazioni di base e lo stato di esecuzione dell'immagine container.

3. Attendi fino a 15 minuti per il completamento del trasferimento iniziale dei dati.

4. Per visualizzare le informazioni del log, torna alla pagina Deployment di soluzioni, fai clic sul menu Azioni , poi fai clic su Visualizza il report di Looker Studio.

   Il report di Looker Studio ti consente di visualizzare informazioni sull'host e sullo stato per i log generati di esempio. Per ulteriori informazioni su come interagire con i dati, consulta Analisi dei dati con BI Engine Looker Studio

5. Per visualizzare le informazioni dettagliate del log, torna alla pagina Deployment di soluzioni, fai clic sul menu Azioni, quindi procedi nel seguente modo:

   1. Fai clic su Visualizza log in BigQuery. Si apre la pagina Explorer che mostra le informazioni sul set di dati sink di log che stai utilizzando per questo deployment.

   2. Nel riquadro Explorer, espandi la risorsa logink.

   3. Fai clic sulla tabella transferred_logs.

   4. Nel riquadro transferred_logs, fai clic sulla scheda Anteprima. Vengono visualizzati tutti i dati di log nella tabella.

   Per ulteriori informazioni su come analizzare i dati nelle tabelle BigQuery, consulta la panoramica sull'analisi di BigQuery

Hai eseguito il deployment della soluzione di esempio, hai interagito con un report di esempio e hai visualizzato in anteprima le informazioni del log nel data warehouse. Per saperne di più sui suggerimenti di progettazione per soddisfare le esigenze specifiche di analisi dei log della tua organizzazione, consulta i suggerimenti di progettazione.

Quando non hai più bisogno della soluzione, puoi eliminare il deployment per evitare la fatturazione continua per le risorse Google Cloud. Per maggiori informazioni, consulta la pagina Eliminazione del deployment.

Esegui il deployment con Terraform

Questa sezione descrive il modo in cui puoi personalizzare la soluzione o automatizzare il provisioning e la gestione della soluzione utilizzando Terraform. Le soluzioni di cui esegui il deployment utilizzando il codice Terraform non vengono visualizzate nella pagina Deployment delle soluzioni nella console Google Cloud.

Nota: se vuoi eseguire il deployment della soluzione preconfigurata così com'è per vedere come funziona, segui le istruzioni riportate in Eseguire il deployment dalla console.

Configura il client Terraform

Puoi eseguire Terraform in Cloud Shell o sul tuo host locale. Questa guida descrive come eseguire Terraform in Cloud Shell, su cui Terraform è preinstallato e configurato per l'autenticazione con Google Cloud.

Il codice Terraform per questa soluzione è disponibile in un repository GitHub.

1. Clona il repository GitHub in Cloud Shell.

   

   Viene visualizzato un messaggio che conferma il download del repository GitHub in Cloud Shell.

2. Fai clic su Conferma.

   Cloud Shell viene avviato in una scheda separata del browser e il codice Terraform viene scaricato nella directory $HOME/cloudshell_open del tuo ambiente Cloud Shell.

3. In Cloud Shell, controlla se la directory di lavoro attuale è $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example. Questa è la directory che contiene i file di configurazione Terraform per la soluzione. Se vuoi passare a quella directory, esegui questo comando:

   cd $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example
   

4. Inizializza Terraform eseguendo il comando seguente:

   terraform init
   

   Attendi finché non viene visualizzato il seguente messaggio:

   Terraform has been successfully initialized!
   

Configura le variabili Terraform

Il codice Terraform scaricato include variabili che puoi utilizzare per personalizzare il deployment in base ai tuoi requisiti. Ad esempio, puoi specificare il progetto Google Cloud e la regione in cui eseguire il deployment della soluzione.

1. Assicurati che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example. In caso contrario, vai alla directory.

2. Nella stessa directory, crea un file di testo denominato terraform.tfvars.

3. Nel file terraform.tfvars, copia il seguente snippet di codice e imposta i valori per le variabili richieste.

   • Segui le istruzioni fornite come commenti nello snippet di codice.
   • Questo snippet di codice include solo le variabili per cui devi impostare i valori. La configurazione Terraform include altre variabili con valori predefiniti. Per esaminare tutte le variabili e i valori predefiniti, vedi il file variables.tf disponibile nella directory $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example.
   • Assicurati che ogni valore impostato nel file terraform.tfvars corrisponda alla variabile type come dichiarato nel file variables.tf. Ad esempio, se il tipo definito per una variabile nel file variables.tf è bool, devi specificare true o false come valore della variabile nel file terraform.tfvars.

     # This is an example of the terraform.tfvars file.
     # The values that you set in this file must match the variable types, as declared in variables.tf.
     # The values in this file override any defaults in variables.tf.
   
     # The project to provision resources to (required)
     project_id = "PROJECT_ID"
   
     # Google Cloud region where you want to deploy the solution (optional)
     # Example: us-central1
     region = "REGION"
   
     # The name used when resources are provisioned (optional)
     # Example: log-analysis
     deployment_name = project_id = "DEPLOYMENT_NAME"
   
     # A set of key/value label pairs to assign to the resources deployed by this solution (optional)
     # Example: {"team"="monitoring", "environment"="test"}
     labels = {"KEY1"="VALUE1",..."KEYn"="VALUEn"}
   
     # Whether to enable underlying APIs (optional)
     # Example: true
     enable_apis = "ENABLE_APIS"
   
     # Whether to delete all BigQuery resources when the solution is deleted (optional)
     # Example: false
     delete_content_on_destroy = "DELETE_CONTENT_ON_DESTROY"
   

Per informazioni sui valori che puoi assegnare alle variabili richieste, consulta quanto segue:

• project_id è obbligatorio. Per i dettagli su questo valore, consulta Identificazione dei progetti.

• Le altre variabili hanno valori predefiniti. Potresti modificarne alcuni (ad esempio, deployment_name e labels).

Convalida e rivedi la configurazione Terraform

1. Assicurati che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example. In caso contrario, vai alla directory.

2. Verifica che la configurazione di Terraform non presenti errori:

   terraform validate
   

   Se il comando restituisce errori, apporta le correzioni necessarie nella configurazione ed esegui di nuovo il comando terraform validate. Ripeti questo passaggio finché il comando non restituisce il seguente messaggio:

   Success! The configuration is valid.
   

3. Esamina le risorse definite nella configurazione:

   terraform plan
   

4. Se non hai creato il file terraform.tfvars come descritto in precedenza, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori obbligatori.

   L'output del comando terraform plan è un elenco delle risorse di cui Terraform esegue il provisioning quando applichi la configurazione.

   Se vuoi apportare modifiche, modifica la configurazione ed esegui di nuovo i comandi terraform validate e terraform plan.

Esegui il provisioning delle risorse

Quando non sono necessarie ulteriori modifiche nella configurazione Terraform, esegui il deployment delle risorse.

1. Assicurati che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example. In caso contrario, vai alla directory.

2. Applica la configurazione Terraform:

   terraform apply
   

3. Se non hai creato il file terraform.tfvars come descritto in precedenza, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori obbligatori.

   Terraform visualizza un elenco delle risorse che verranno create.

4. Quando ti viene chiesto di eseguire le azioni, inserisci yes.

   Terraform visualizza i messaggi che mostrano l'avanzamento del deployment.

   Se non è possibile completare il deployment, Terraform visualizza gli errori che hanno causato l'errore. Esamina i messaggi di errore e aggiorna la configurazione per correggere gli errori. Quindi, esegui di nuovo il comando terraform apply. Per assistenza con la risoluzione degli errori di Terraform, vedi Errori durante il deployment della soluzione utilizzando Terraform.

   Dopo aver creato tutte le risorse, Terraform visualizza il seguente messaggio:

   Apply complete!
   

   Dopo aver creato tutte le risorse, Terraform visualizza un messaggio simile al seguente (alcuni valori saranno diversi nel tuo deployment):

     bigquery_dataset_name = "<DEPLOYMENT_NAME>_logsink"
     bigquery_dataset_url = "https://console.cloud.google.com/bigquery?project=<PROJECT_ID>&ws=!1m4!1m3!3m2!1sPROJECT_ID!2s<DEPLOYMENT_NAME_logsink"
     bigquery_table_name = "transferred_logs"
     bucket_name = "<DEPLOYMENT_NAME>-ingest-cce5ab38"
     cloud_run_url="<VALUE>"
     lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.mode=edit&ds.connector=BIG_QUERY&ds.type=TABLE&ds.projectId=<PROJECT_ID>&ds.datasetId=<DEPLOYMENT_NAME>_logsink&ds.tableId=transferred_logs"
   

   Vengono visualizzati i seguenti dettagli:

   • Nome del set di dati BigQuery: il set di dati in cui sono archiviati i log web.
   • URL del set di dati BigQuery: un link ai dettagli del set di dati nella console Google Cloud.
   • Nome tabella BigQuery: la tabella in cui vengono archiviati i dati all'interno del set di dati.
   • Nome bucket: il bucket di archiviazione che archivia i file di log web delle applicazioni in esecuzione su altri cloud e on-premise.
   • URL del report di Looker Studio: un link a un report in cui puoi visualizzare i log web.

Utilizza la soluzione

Una volta completato il deployment della soluzione, puoi interagire con il container per assicurarti che sia in esecuzione e iniziare l'analisi. Completa i seguenti passaggi per utilizzare la soluzione.

1. Crea copie dei valori per bigquery_dataset_url e lookerstudio_report_url per poterli utilizzare in un secondo momento.

2. Attendi fino a 15 minuti per il completamento del trasferimento iniziale dei dati.

3. Per una visualizzazione delle informazioni di log, incolla l'URL di Looker Studio nel browser.

   Il report di Looker Studio ti aiuta a visualizzare informazioni sull'host e sullo stato dei log web di esempio. Per ulteriori informazioni su come interagire con i dati, consulta Analisi dei dati con BI Engine Looker Studio

4. Per visualizzare informazioni dettagliate sui log:

   1. Incolla il nome del set di dati BigQuery nel browser. Si apre la pagina Explorer che mostra le informazioni sul set di dati utilizzato per questo deployment

   2. Nel riquadro Explorer, espandi la risorsa logink.

   3. Fai clic sulla tabella transferred_logs.

   4. Nel riquadro a destra, fai clic su Anteprima. Vengono visualizzati tutti i dati di log nella tabella.

   Per ulteriori informazioni su come analizzare i dati nelle tabelle BigQuery, consulta la panoramica sull'analisi di BigQuery

5. Per visualizzare le risorse Google Cloud di cui è stato eseguito il deployment e la relativa configurazione, fai un tour interattivo.

   Inizia il tour

Personalizza la soluzione

Questa sezione fornisce informazioni che gli sviluppatori Terraform possono utilizzare per modificare la soluzione della pipeline di analisi dei log in modo da soddisfare i propri requisiti tecnici e aziendali. Le indicazioni riportate in questa sezione sono pertinenti solo se esegui il deployment della soluzione utilizzando Terraform.

Nota: la modifica del codice Terraform per questa soluzione richiede familiarità con il lingua di configurazione Terraform. Se modifichi la configurazione di Terraform fornita da Google e riscontri errori, crea problemi in GitHub. I problemi di GitHub vengono esaminati al meglio delle nostre possibilità e non sono destinati a domande di utilizzo generali.

Le risorse Google Cloud offerte da questa soluzione hanno parametri preconfigurati. Per dimostrare il flusso di lavoro per la modifica dei parametri, questa procedura consente di modificare il parametro di pianificazione di BigQuery Data Transfer Service, che potresti modificare in modo che sia in linea con l'intervallo di aggiornamento dei dati previsto.

Per personalizzare la soluzione, completa i seguenti passaggi in Cloud Shell:

1. Verifica che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example. In caso contrario, vai alla directory:

   cd $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example
   

2. Apri il file main.tf e apporta le modifiche necessarie, come mostrato nella seguente tabella:

   Nota: per indicazioni sugli effetti della personalizzazione su affidabilità, sicurezza, prestazioni, costo e operazioni, consulta i consigli di progettazione

   Parametro	Argomento Terraform in main.tf
   Pianificazione del job di BigQuery Data Transfer Service	Argomento nel file main.tf: schedule Snippet di codice resource "google_bigquery_data_transfer_config" "log_transfer" { ... template { ... schedule = "SCHEDULE" ... } }

3. Convalida e rivedi la configurazione Terraform.

4. Esegui il provisioning delle risorse.

(Facoltativo) Aggiungi i tuoi file di log web al deployment

Il deployment della soluzione include esempi di log web su cui puoi eseguire query o visualizzare nei report. Se vuoi sostituire i dati di esempio con i dati del log web, procedi nel seguente modo:

1. Assicurati che i log web siano in formato JSON.

2. Crea un file di schema dei dati basato sui log web, in formato JSON.

3. Esegui il deployment della soluzione utilizzando Terraform e sostituisci i contenuti dei seguenti file con i tuoi dati e le informazioni di schema:

   • Dati di log web: sample_access_log.json
   • Schema dei dati: sample_access_log_schema.json

Suggerimenti di progettazione

Questa sezione fornisce suggerimenti per l'utilizzo della soluzione della pipeline di analisi dei log per sviluppare un'architettura che soddisfi i tuoi requisiti di sicurezza, affidabilità, costi e prestazioni.

Prodotti alternativi

Se vuoi modificare la soluzione per soddisfare i tuoi requisiti unici, valuta le seguenti alternative ai prodotti utilizzati nel deployment di esempio:

• La soluzione gestisce l'applicazione da un container Cloud Run. Nel tuo ambiente, potresti prendere in considerazione altri prodotti per gestire l'applicazione, in base alle tue esigenze specifiche. Per ulteriori informazioni sulle opzioni di calcolo disponibili, consulta Hosting delle applicazioni su Google Cloud

• La soluzione contiene un bucket di archiviazione in cui puoi caricare file di log da altre piattaforme cloud o on-premise. Se archivi i dati di log in un database gestito, puoi valutare l'opportunità di trasmettere i flussi di dati da questo database a BigQuery. Per ulteriori informazioni, consulta la panoramica di Datastream

Sicurezza

Implementa i suggerimenti nelle seguenti guide per una maggiore sicurezza dell'architettura:

• Implementare la sicurezza di computing e container

• Eseguire il deployment delle applicazioni in modo sicuro

• Implementare la sicurezza dei dati

• Implementare il logging e i controlli di rilevamento

Affidabilità

Utilizza le seguenti linee guida per migliorare l'affidabilità dei prodotti in questa soluzione:

• Guida all'affidabilità di Cloud Run

• Guida all'affidabilità di Cloud Storage

• Guida all'affidabilità di BigQuery

Prestazioni

Contribuisci a ottimizzare il rendimento attenendoti alle seguenti best practice:

• Ottimizzare le prestazioni di calcolo

• Ottimizzare le prestazioni dello spazio di archiviazione

• Ottimizza le prestazioni del database

• Ottimizzare il rendimento delle analisi

Costo

Utilizza i seguenti principi di progettazione per ottimizzare il costo dei flussi di lavoro:

• Ottimizza i costi: computing, container e serverless

• Costo di ottimizzazione: archiviazione

• Ottimizza i costi: database e analisi intelligente

Tieni presente quanto segue:

• Prima di apportare eventuali modifiche al progetto, valuta l'impatto sui costi e valuta le potenziali compromessi. Puoi valutare l'impatto dei costi delle modifiche alla progettazione utilizzando il Calcolatore prezzi di Google Cloud.
• Per implementare le modifiche alla progettazione della soluzione, hai bisogno di esperienza nel campo della programmazione Terraform e delle conoscenze avanzate sui servizi Google Cloud utilizzati nella soluzione.
• Se modifichi la configurazione di Terraform fornita da Google e riscontri degli errori, crea problemi in GitHub. I problemi di GitHub vengono esaminati al meglio delle nostre possibilità e non sono destinati a domande sull'utilizzo generale.
• Per ulteriori informazioni sulla progettazione e la configurazione di ambienti di produzione in Google Cloud, consulta Progettazione della zona di destinazione in Google Cloud e Elenco di controllo per la configurazione di Google Cloud.

Elimina il deployment

Quando non hai più bisogno della soluzione, per evitare la fatturazione continua per le risorse che hai creato in questa soluzione, elimina tutte le risorse.

Elimina tramite la console

Utilizza questa procedura se hai eseguito il deployment della soluzione tramite la console.

1. Nella console Google Cloud, vai alla pagina Deployment di soluzioni.

   Vai ai deployment delle soluzioni

2. Seleziona il progetto che contiene il deployment che vuoi eliminare.

3. Individua il deployment che vuoi eliminare.

4. Fai clic su Azioni, quindi seleziona Elimina.

5. Inserisci il nome del deployment e fai clic su Conferma.

   Il campo Stato mostra Eliminazione.

   Se l'eliminazione non va a buon fine, consulta le indicazioni per la risoluzione dei problemi riportate in Errore durante l'eliminazione di un deployment.

Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, puoi eliminare il progetto. Per maggiori informazioni, consulta la pagina Facoltativo: eliminare il progetto.

Elimina con Terraform

Utilizza questa procedura se hai eseguito il deployment della soluzione con Terraform.

1. In Cloud Shell, assicurati che la directory di lavoro attuale sia $HOME/cloudshell_open/terraform-google-log-analysis/examples/simple_example. In caso contrario, vai alla directory.

2. Rimuovi le risorse di cui è stato eseguito il provisioning da Terraform:

   terraform destroy
   

   Terraform visualizza un elenco delle risorse che verranno eliminate.

3. Quando ti viene chiesto di eseguire le azioni, inserisci yes.

   Terraform visualizza i messaggi in cui è mostrato l'avanzamento. Dopo aver eliminato tutte le risorse, Terraform visualizza il seguente messaggio:

   Destroy complete!
   

   Se l'eliminazione non va a buon fine, consulta le indicazioni per la risoluzione dei problemi riportate in Errore durante l'eliminazione di un deployment.

Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, puoi eliminare il progetto. Per maggiori informazioni, consulta la pagina Facoltativo: eliminare il progetto.

(Facoltativo) Elimina il progetto

Se hai eseguito il deployment della soluzione in un nuovo progetto Google Cloud e non ti serve più il progetto, eliminalo completando i seguenti passaggi:

Attenzione: se elimini un progetto, tutte le risorse che contiene vengono eliminate definitivamente.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Al prompt, digita l'ID progetto e fai clic su Chiudi.

Se decidi di conservare il progetto, elimina l'account di servizio creato per questa soluzione, come descritto nella sezione successiva.

(Facoltativo) Elimina l'account di servizio

Se hai eliminato il progetto che hai utilizzato per la soluzione, salta questa sezione.

Come accennato in questa guida, quando hai eseguito il deployment della soluzione, è stato creato un account di servizio per tuo conto. All'account di servizio sono state assegnate temporaneamente alcune autorizzazioni IAM, ovvero sono state revocate automaticamente dopo il completamento delle operazioni di deployment ed eliminazione della soluzione, ma l'account di servizio non è stato eliminato. Google consiglia di eliminare questo account di servizio.

• Se hai eseguito il deployment della soluzione dalla console Google Cloud, vai alla pagina Deployment di soluzioni. (se ti trovi già nella pagina, aggiorna il browser). Viene attivato un processo in background per eliminare l'account di servizio. Non sono necessarie ulteriori azioni.

• Se hai eseguito il deployment della soluzione utilizzando Terraform, completa i seguenti passaggi:

  1. Nella console Google Cloud, vai alla pagina Account di servizio.

     Vai ad Account di servizio

  2. Seleziona il progetto utilizzato per la soluzione.

  3. Seleziona l'account di servizio che vuoi eliminare.

     L'ID email dell'account di servizio creato per la soluzione è nel seguente formato:

     goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
     

     L'ID email contiene i seguenti valori:

     • DEPLOYMENT_NAME: il nome del deployment.
     • NNN: un numero casuale di tre cifre.
     • PROJECT_ID: l'ID del progetto in cui hai eseguito il deployment della soluzione.

  4. Fai clic su Elimina.

Risolvere gli errori

Le azioni che puoi intraprendere per diagnosticare e risolvere gli errori dipendono dal metodo di deployment e dalla complessità dell'errore.

Errori durante il deployment dalla console

Se il deployment non riesce quando utilizzi la console, segui questi passaggi:

1. Vai alla pagina Deployment di soluzioni.

   Se il deployment non è riuscito, il campo Stato mostra Non riuscito.

2. Visualizza i dettagli degli errori che hanno causato l'errore:

   1. Fai clic su Azioni.

   2. Seleziona Visualizza i log di Cloud Build.

3. Esamina il log di Cloud Build e adotta le azioni appropriate per risolvere il problema che ha causato l'errore.

Errori durante il deployment tramite Terraform

Se il deployment non riesce quando utilizzi Terraform, l'output del comando terraform apply include i messaggi di errore che puoi esaminare per diagnosticare il problema.

Gli esempi nelle sezioni seguenti mostrano gli errori di deployment che potresti riscontrare quando utilizzi Terraform.

Errore API non abilitata

Se crei un progetto e poi tenti immediatamente di eseguire il deployment della soluzione nel nuovo progetto, il deployment potrebbe non riuscire con un errore come il seguente:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

Se si verifica questo errore, attendi qualche minuto ed esegui di nuovo il comando terraform apply.

Errori durante l'eliminazione del deployment

Dopo aver eseguito il deployment della soluzione, se aggiungi o modifichi qualsiasi risorsa di cui è stato eseguito il provisioning e se tenti di eliminare il deployment, l'eliminazione potrebbe non riuscire.

Ad esempio, dopo aver eseguito il deployment della soluzione, se aggiungi alla subnet una subnet creata dalla soluzione e poi la provi a eliminare la soluzione, l'eliminazione non riesce. Se hai eseguito il deployment della soluzione dalla console, il campo Stato nella pagina Deployment di soluzioni mostra Non riuscito, mentre il log di Cloud Build mostra un errore come il seguente:

Error: running tf destroy: terraform destroy failed: running terraform failed: exit status 1
Step #0 - "Destroy blueprint": running tf destroy: terraform destroy failed: running terraform failed: exit status 1
Step #0 - "Destroy blueprint":
Step #0 - "Destroy blueprint": Error: Error waiting for Deleting Network: The network resource 'projects/mysolutionsproject/global/networks/tiered-web-app-private-network' is already being used by 'projects/mysolutionsproject/regions/asia-east1/subnetworks/mysubnet'

Se si verifica questo errore, elimina le risorse che hai aggiunto dopo aver eseguito il deployment della soluzione, quindi riprova a eliminare la soluzione.

Errori durante l'eliminazione delle risorse BigQuery

Se l'eliminazione non va a buon fine quando utilizzi Terraform, l'output del comando terraform destroy include i messaggi di errore che puoi esaminare per diagnosticare il problema.

Ad esempio, potresti visualizzare il seguente messaggio di errore:

Error: cannot destroy instance without setting deletion_protection=false and running `terraform apply`.

Se si verifica questo errore, le risorse BigQuery create dalla soluzione non vengono eliminate. Se vuoi eliminare le risorse BigQuery, puoi eliminarle nella console.

Errori durante il trasferimento dei dati

Potresti riscontrare errori durante il trasferimento dei dati da Cloud Storage in BigQuery o tra la tua applicazione e BigQuery. Per risolvere gli errori di trasferimento di dati, consulta la seguente documentazione:

• Trasferimenti di Cloud Storage

• Risolvere i problemi relativi alle configurazioni dei trasferimenti

Errore durante l'eliminazione di un deployment

In alcuni casi, i tentativi di eliminare un deployment potrebbero non riuscire:

• Dopo aver eseguito il deployment di una soluzione dalla console, se cambi qualsiasi risorsa di cui è stato eseguito il provisioning dalla soluzione e provi a eliminare il deployment, l'eliminazione potrebbe non riuscire. Il campo Stato nella pagina Deployment di soluzioni mostra Non riuscito e il log di Cloud Build mostra la causa dell'errore.
• Dopo aver eseguito il deployment di una soluzione utilizzando Terraform, se modifichi una risorsa utilizzando un'interfaccia non Terraform (ad esempio, la console) e se tenti di eliminare il deployment, l'eliminazione potrebbe non riuscire. I messaggi nell'output del comando terraform destroy mostrano la causa dell'errore.

Esamina i log e i messaggi di errore, identifica ed elimina le risorse che hanno causato l'errore, quindi prova a eliminare di nuovo il deployment.

Se un deployment basato su console non viene eliminato e se non puoi diagnosticare l'errore utilizzando il log di Cloud Build, puoi eliminare il deployment utilizzando Terraform, come descritto nella sezione successiva.

Elimina un deployment basato su console utilizzando Terraform

Questa sezione descrive come eliminare un deployment basato sulla console se si verificano errori quando provi a eliminarlo dalla console. In questo approccio, devi scaricare la configurazione Terraform per il deployment che vuoi eliminare, quindi utilizzare Terraform per eliminare il deployment.

1. Identificare l'area geografica in cui sono archiviati il codice Terraform, i log e altri dati del deployment. Quest'area potrebbe essere diversa da quella selezionata durante il deployment della soluzione.

   1. Nella console Google Cloud, vai alla pagina Deployment di soluzioni.

      Vai ai deployment delle soluzioni

   2. Seleziona il progetto che contiene il deployment che vuoi eliminare.

   3. Nell'elenco dei deployment, identifica la riga del deployment che vuoi eliminare.

   4. Fai clic su Visualizza tutti i contenuti delle righe.

   5. Nella colonna Località, prendi nota della seconda posizione, come evidenziato nell'esempio seguente:

      

2. Nella console Google Cloud, attiva Cloud Shell.

   Attiva Cloud Shell

   Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell che mostra un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installato e con valori già impostati per il progetto attuale. L'inizializzazione della sessione può richiedere alcuni secondi.

3. Crea variabili di ambiente per l'ID progetto, la regione e il nome del deployment che vuoi eliminare:

   export REGION="REGION"
   export PROJECT_ID="PROJECT_ID"
   export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
   

   In questi comandi, sostituisci quanto segue:

   • REGION: il luogo indicato in precedenza in questa procedura.
   • PROJECT_ID: l'ID del progetto in cui hai eseguito il deployment della soluzione.
   • DEPLOYMENT_NAME: il nome del deployment che vuoi eliminare.

4. Ottieni l'ID dell'ultima revisione del deployment che vuoi eliminare:

   export REVISION_ID=$(curl \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json" \
       "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
       | jq .latestRevision -r)
       echo $REVISION_ID
   

   L'output è simile al seguente:

   projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0
   

5. Recupera la località Cloud Storage della configurazione Terraform per il deployment:

   export CONTENT_PATH=$(curl \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json" \
       "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
       | jq .applyResults.content -r)
       echo $CONTENT_PATH
   

   Di seguito è riportato un esempio dell'output di questo comando:

   gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content
   

6. Scarica la configurazione Terraform da Cloud Storage in Cloud Shell:

   gsutil cp -r $CONTENT_PATH $HOME
   cd $HOME/content/examples/simple_example
   

   Attendi finché non viene visualizzato il messaggio Operation completed, come mostrato nell'esempio seguente:

   Operation completed over 45 objects/268.5 KiB
   

7. Inizializza Terraform:

   terraform init
   

   Attendi finché non viene visualizzato il seguente messaggio:

   Terraform has been successfully initialized!
   

8. Rimuovi le risorse di cui è stato eseguito il deployment:

   terraform destroy
   

   Terraform visualizza un elenco delle risorse che verranno eliminate.

   Se vengono visualizzati avvisi per le variabili non dichiarate, ignora gli avvisi.

9. Quando ti viene chiesto di eseguire le azioni, inserisci yes.

   Terraform visualizza i messaggi in cui è mostrato l'avanzamento. Dopo aver eliminato tutte le risorse, Terraform visualizza il seguente messaggio:

   Destroy complete!
   

10. Elimina l'artefatto di deployment:

    curl -X DELETE \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"
    

11. Attendi qualche secondo e poi verifica che l'artefatto di deployment sia stato eliminato:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
        | jq .error.message
    

    Se viene visualizzato null, attendi qualche secondo ed esegui di nuovo il comando.

    Dopo l'eliminazione dell'artefatto di deployment, viene visualizzato un messaggio come mostrato nell'esempio seguente:

    Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found
    

Invia feedback

Le soluzioni Jump Start sono solo a scopo informativo e non sono prodotti ufficialmente supportati. Google può modificare o rimuovere soluzioni senza preavviso.

Per risolvere gli errori, esamina i log di Cloud Build e l'output di Terraform.

Per inviare il tuo feedback:

• Per la documentazione, i tutorial nella console o la soluzione, utilizza il pulsante Invia feedback nella pagina.

• Per il codice Terraform non modificato, crea problemi nel repository GitHub. I problemi di GitHub vengono esaminati al meglio delle nostre possibilità e non sono destinati a domande sull'utilizzo generale.

• Per problemi con i prodotti utilizzati nella soluzione, contatta l'assistenza clienti Google Cloud.

Passaggi successivi

Consulta la seguente documentazione per ulteriori informazioni sulle best practice relative all'architettura e al funzionamento per i prodotti utilizzati in questa soluzione:

• Best practice per la creazione di container

• Cloud Run: suggerimenti generali per lo sviluppo

• Logging: panoramica su routing e archiviazione

• Cloud Storage: Opzioni per il controllo dei cicli di vita dei dati

• Introduzione all'amministrazione di BigQuery