Visualizzazione dei costi con Looker Studio

Puoi combinare l'esportazione dei dati di fatturazione Cloud in BigQuery con Looker Studio per rimanere al passo con i costi di Google Cloud.

Questa pagina mostra come configurare la dashboard degli insight sui costi e di utilizzo della fatturazione con i dati di fatturazione Cloud. Puoi utilizzare la dashboard per rispondere a domande sulla spesa per Google Cloud, ad esempio Quanto sto spendendo per le risorse Compute Engine?

Visualizzazione di esempio in Looker Studio

Puoi configurare la dashboard seguendo questo tutorial o guardando il seguente video:

Obiettivi

Questo tutorial ti mostra come completare queste attività:

Configura la tua copia della dashboard degli insight sui costi e di utilizzo della fatturazione utilizzando Cloud Shell.
Scopri come modificare le visualizzazioni della dashboard per richieste avanzate, ad esempio se disponi di più account di fatturazione Cloud o di un account di fatturazione Cloud in una valuta diversa da USD.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

BigQuery

Il costo di archiviazione dei dati di fatturazione Cloud in BigQuery è generalmente gratuito o minimo. A seconda delle dimensioni del set di dati BigQuery, ti potrebbero essere addebitati costi per l'esecuzione di query sui dati per l'analisi.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Prima di iniziare

Configura l'esportazione dei dati di fatturazione Cloud in BigQuery.

Per utilizzare la dashboard, devi abilitare le esportazioni in BigQuery per i dati di utilizzo della fatturazione Cloud standard e dettagliati.

Dopo aver abilitato l'esportazione dei dati, occorre circa un giorno per completare il set di dati con i dati di fatturazione Cloud. Potresti notare prima un trasferimento di dati di rete, poi alcuni addebiti delle VM, l'utilizzo di Pub/Sub e così via. Dopo aver inserito i dati nel set di dati, puoi eseguire delle query su di esso.

Attenzione: le esportazioni dei dati di fatturazione Cloud riflettono solo i dati di costo e sull'utilizzo di Google Cloud a partire dalla data in cui abiliti l'esportazione della fatturazione Cloud in poi. I dati di fatturazione Google Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati di fatturazione Cloud prima di abilitare l'esportazione. Ti consigliamo di abilitare l'esportazione della fatturazione Cloud in BigQuery nello stesso momento in cui crei un account di fatturazione Cloud, in modo da avere accesso a un set più completo di dati di fatturazione di Google Cloud per le tue esigenze di analisi.
Se la tua organizzazione ha già configurato le esportazioni di BigQuery, devi disporre delle autorizzazioni per creare viste BigQuery nel progetto che ospita i set di dati.

Facoltativamente, se vuoi creare un nuovo set di dati per le viste BigQuery, devi disporre delle autorizzazioni per creare set di dati BigQuery.
Trova le seguenti informazioni sul tuo ambiente Google Cloud:
- L'ID progetto in cui è ospitato il set di dati BigQuery di fatturazione Cloud.
- I nomi dei set di dati per le esportazioni dei dati di costo standard e dettagliati. In genere, le esportazioni dei dati di costo si trovano nello stesso set di dati.

Crea la tua copia della dashboard

Per creare una copia della dashboard, devi prima clonare il repository GitHub che automatizza il processo. Questo passaggio utilizza Cloud Shell, un ambiente shell interattivo per Google Cloud che puoi utilizzare dal tuo browser.

A livello generale, lo script di configurazione nel repository svolge le seguenti attività:

Crea un nuovo set di dati BigQuery, con visualizzazioni che recuperano i dati dalle esportazioni dei dati di costo standard e dettagliati.
Copia il modello di dashboard e connette la copia alle visualizzazioni BigQuery dei tuoi dati.
Fornisce un link di Looker Studio alla tua copia, che puoi salvare nelle dashboard di Looker Studio.

Per creare la tua copia:

Apri il repository GitHub in Cloud Shell:
Vai alla directory billboard:
```
cd examples/billboard
```

Esegui i comandi seguenti per configurare l'ambiente Python per lo script:

rm -rf bill-env
pip install virtualenv
virtualenv bill-env
source bill-env/bin/activate
pip install -r requirements.txt

Esegui lo script che crea la dashboard. Potresti dover autorizzare Cloud Shell a effettuare chiamate API per tuo conto:
```
python billboard.py \
  -pr 'PROJECT_ID' \
  -se 'STANDARD_BILLING_EXPORT_DATASET' \
  -de 'DETAILED_BILLING_EXPORT_DATASET' \
  -bb 'BILLBOARD_DATASET'
```
Dove le variabili sono le seguenti:
- PROJECT_ID: l'ID progetto che ospita i set di dati di fatturazione Cloud.
- STANDARD_BILLING_EXPORT_DATASET: il set di dati BigQuery contenente l'esportazione dei dati di costo standard.
- DETAILED_BILLING_EXPORT_DATASET: il set di dati BigQuery contenente l'esportazione dei dati del costo di utilizzo dettagliato.
- BILLBOARD_DATASET: il nome del set di dati BigQuery in cui vengono create le viste BigQuery per la dashboard, ad esempio example_dashboard_views. Se non disponi già di un set di dati per le viste, lo script ne crea uno nuovo con questo nome.
Al termine dell'esecuzione dello script, viene visualizzato un link di Looker Studio alla tua dashboard.
Fai clic sul link a Looker Studio per aprire la dashboard.
In Looker Studio, fai clic su Modifica e condividi per salvare la dashboard. Quando ti viene chiesto di aggiungere origini dati al report, fai clic su Aggiungi al report.

Ora puoi accedere alla dashboard dalla home page di Looker Studio.

(Livello avanzato) Modificare i dati di più account di fatturazione Cloud

Se vuoi che la dashboard includa i dati di più account di fatturazione Cloud, puoi modificare le viste BigQuery in modo da includere le esportazioni dei dati di fatturazione per tutti gli account di fatturazione Cloud.

Prima di iniziare

Per ogni account di fatturazione Cloud che vuoi includere, segui tutti i passaggi nei prerequisiti del tutorial.

Aggiorna le viste BigQuery per includere ulteriori esportazioni della fatturazione Cloud

Nella console Google Cloud, apri la pagina BigQuery.

Vai a BigQuery
Seleziona il progetto che contiene il set di dati che hai creato per la dashboard.
Nel riquadro Explorer, espandi il progetto, quindi espandi il set di dati.
Fai clic sulla visualizzazione del billboard per vederne i dettagli. Questa visualizzazione esegue query sull'esportazione dei dati su costi e utilizzo standard.

Fai clic sulla scheda Dettagli e poi su Modifica query. La query per la vista è simile alla seguente:

SELECT *,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
   _PARTITIONDATE AS date
from `PROJECT_ID.BILLING_ACCOUNT_EXPORT` s
WHERE _PARTITIONDATE > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

Dove PROJECT_ID è il progetto che contiene l'esportazione dei dati di costo BigQuery Standard per la fatturazione Cloud e BILLING_ACCOUNT_EXPORT è il nome della tabella BigQuery con i tuoi dati di costo Standard.

Duplica la query esistente e, nella clausola FROM, sostituisci l'ID progetto e la tabella BigQuery con le informazioni dell'account di fatturazione Cloud aggiuntivo.

Aggiungi l'operatore UNION ALL tra le due query per combinare i dati. La query finale è simile all'esempio seguente, che combina le esportazioni di dati per BILLING_ACCOUNT_1 e BILLING_ACCOUNT_2, che si trovano rispettivamente in PROJECT_ID_1 e PROJECT_ID_2.

SELECT *, --query for BILLING_ACCOUNT_1
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  EXTRACT(DATE FROM _PARTITIONTIME) AS date
FROM `PROJECT_ID_1.BILLING_ACCOUNT_1_EXPORT` s
WHERE _PARTITIONTIME >"2021-01-01"
UNION ALL
SELECT *, --query for BILLING_ACCOUNT_2
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
   _PARTITIONDATE AS date
from `PROJECT_ID_2.BILLING_ACCOUNT_2_EXPORT` s
WHERE _PARTITIONDATE > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

Ripeti questi passaggi per la visualizzazione billboard_detail, che esegue una query sui dati dettagliati su costi e utilizzo.

Se uno dei tuoi account è in una valuta diversa dal dollaro statunitense, ripeti questi passaggi e utilizza la colonna currency_conversion_rate per convertire i dollari statunitensi, come nel seguente esempio:

select *,
  (COALESCE((SELECT SUM(x.amount)
  FROM UNNEST(s.credits) x),0))/currency_conversion_rate AS credits_sum_amount,
    (COALESCE((SELECT SUM(x.amount)
    FROM UNNEST(s.credits) x),0))/currency_conversion_rate + cost/currency_conversion_rate as net_cost,
    'USD' as net_cost_currency,
     PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
      _PARTITIONDATE AS date
from `PROJECT_ID.BILLING_ACCOUNT_DATASET` s
WHERE _PARTITIONDATE > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

Esegui la pulizia

Se non vuoi più utilizzare la dashboard, clona il repository GitHub ed esegui lo script della dashboard con l'opzione -clean. Lo script elimina le viste di BigQuery, ma lascia intatto il set di dati di BigQuery Export.

Apri il repository GitHub in Cloud Shell:
Vai alla directory billboard:
```
cd examples/billboard
```

Esegui i comandi seguenti per configurare l'ambiente Python per lo script:

pip install virtualenv
virtualenv bill-env
source bill-env/bin/activate
pip install -r requirements.txt

Esegui il comando di pulizia:
```
python billboard.py \
  -pr 'PROJECT_ID' \
  -se 'STANDARD_BILLING_EXPORT_DATASET' \
  -de 'DETAILED_BILLING_EXPORT_DATASET' \
  -bb 'BILLBOARD_DATASET' \
  -clean yes
```
Dove le variabili sono le seguenti:
- PROJECT_ID: l'ID progetto che ospita i set di dati di fatturazione Cloud.
- STANDARD_BILLING_EXPORT_DATASET: il set di dati BigQuery contenente l'esportazione dei dati di costo di utilizzo standard.
- DETAILED_BILLING_EXPORT_DATASET: il set di dati BigQuery contenente l'esportazione dei dati del costo di utilizzo dettagliato.
- BILLBOARD_DATASET: il set di dati BigQuery in cui hai creato le viste BigQuery per la dashboard.
Per eliminare la dashboard di Looker Studio, apri Looker Studio, individua la dashboard e, nel menu , fai clic su Rimuovi.

Passaggi successivi

Informazioni sulle tabelle dei dati di fatturazione Cloud in BigQuery.
Esamina gli esempi di query per l'esportazione dei dati di fatturazione Cloud.
Scopri di più sull'implementazione di FinOps in Google Cloud e le best practice per monitorare i costi.
Esamina il codice che crea la dashboard.