Configurare l'esportazione dei dati di fatturazione Cloud in BigQuery

Questo documento fornisce tutti i passaggi di configurazione necessari per configurare l'esportazione dei dati di fatturazione Cloud in BigQuery.

Per esportare i dati di fatturazione Cloud in BigQuery, segui i seguenti passaggi:

  • Crea un progetto in cui verranno memorizzati i dati di fatturazione Cloud e abilita la fatturazione per il progetto (se non lo hai già fatto).
  • Configura le autorizzazioni nel progetto e nell'account di fatturazione Cloud.
  • Abilita l'API BigQuery Data Transfer Service (obbligatoria per esportare i dati sui prezzi).
  • Crea un set di dati BigQuery in cui archiviare i dati.
  • Abilita l'esportazione dei dati di costo e dei dati sui prezzi della fatturazione Cloud da scrivere nel set di dati.

Questo documento illustra i dettagli di ciascuno di questi passaggi.

Informazioni sulla console Google Cloud

La console Google Cloud (visita la documentazione, apri la console) è un'interfaccia utente web utilizzata per eseguire il provisioning, configurare, gestire e monitorare i sistemi che utilizzano i prodotti Google Cloud. Utilizza la console Google Cloud per configurare e gestire le risorse Google Cloud e fatturazione Cloud.

Autorizzazioni richieste per questa attività

Per attivare e configurare l'esportazione dei dati di costo di utilizzo della fatturazione Google Cloud in un set di dati BigQuery, devi disporre delle seguenti autorizzazioni:

  • Per la fatturazione Cloud, devi disporre del ruolo Gestore costi account di fatturazione o del ruolo Amministratore account di fatturazione nell'account di fatturazione Cloud di destinazione.
  • Per BigQuery, devi disporre del ruolo Utente BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare per archiviare i dati di fatturazione Cloud.

Per attivare e configurare l'esportazione dei dati di prezzi della fatturazione Cloud, devi disporre delle seguenti autorizzazioni:

  • Per Cloud Billing, devi disporre del ruolo Amministratore account di fatturazione per l'account di fatturazione Cloud di destinazione.
  • Per BigQuery, devi disporre del ruolo Amministratore BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare per archiviare i dati sui prezzi di Fatturazione Cloud.
  • Per il progetto Google Cloud contenente il set di dati di destinazione, devi disporre dell'autorizzazione resourcemanager.projects.update. Questa autorizzazione è inclusa nel ruolo roles/editor.

Potresti anche aver bisogno di altre autorizzazioni per il progetto. Se sei un membro di un'organizzazione Google Cloud, per creare un nuovo progetto devi avere il ruolo Autore progetto nell'organizzazione o nella cartella. Nello specifico, per creare un nuovo progetto, devi disporre delle seguenti autorizzazioni:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Per ulteriori informazioni sulle autorizzazioni di Google Cloud, consulta:

Abilita l'esportazione dei dati di fatturazione Cloud in BigQuery

Completa i cinque passaggi di questa sezione per attivare l'esportazione dei dati di fatturazione Cloud in BigQuery.

Per una breve introduzione all'attivazione dell'esportazione dei dati di fatturazione ed esecuzione di query di esempio sui dati di fatturazione Cloud in BigQuery, segui questo tutorial interattivo sull'esportazione dei dati di fatturazione.

Se sei un rivenditore, puoi configurare un'esportazione specifica per i rivenditori dei tuoi dati di fatturazione di Channel Services utilizzando la Console Partner Sales. Per farlo, segui i passaggi 1-4 di questa pagina per creare il progetto e il set di dati BigQuery. Per il passaggio 5, consulta Esportare i dati di Channel Services in BigQuery per attivare l'esportazione.

1. Seleziona o crea un progetto

I dati di fatturazione Cloud esportati in BigQuery sono contenuti in un set di dati BigQuery. Un set di dati è contenuto in un progetto Google Cloud specificato.

Ti consigliamo di creare e utilizzare un progetto Google Cloud separato per contenere tutte le tue esigenze di amministrazione della fatturazione e FinOps per un account di fatturazione Cloud, inclusi i dati di fatturazione Cloud esportati. Scopri di più sui vantaggi dell'utilizzo di un progetto incentrato su FinOps per i casi d'uso di amministrazione della fatturazione.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Scopri di più su come creare e gestire i progetti.

2. Verificare che la fatturazione sia attivata

Devi assicurarti che la fatturazione sia attivata nel progetto Google Cloud selezionato per contenere il set di dati e che il progetto Google Cloud sia collegato allo stesso account di fatturazione Cloud che contiene i dati che prevedi di esportare nel set di dati BigQuery.

3. Abilita l'API BigQuery Data Transfer Service

Se prevedi di esportare i dati sui prezzi di Fatturazione Cloud in BigQuery, devi abilitare l'API BigQuery Data Transfer Service. Se non prevedi di esportare i dati sui prezzi di Fatturazione Cloud, puoi saltare al passaggio 4. Crea un set di dati BigQuery.

L'API BigQuery Data Transfer Service deve essere abilitata nello stesso progetto Google Cloud che utilizzi per contenere i set di dati BigQuery. Se hai seguito il consiglio riportato nella sezione del progetto, questo è il tuo progetto Google Cloud di FinOps o amministrazione della fatturazione.

Per attivare l'API BigQuery Data Transfer Service, segui questi passaggi:

  1. Accedi alla console Google Cloud e vai alla pagina dell'API.

    Vai alla pagina dell'API BigQuery Data Transfer Service

  2. In alto a sinistra nella pagina, seleziona un progetto. Devi abilitare l'API BigQuery Data Transfer Service nello stesso progetto che utilizzi per contenere il set di dati BigQuery. Se hai seguito il consiglio riportato nella sezione del progetto, si tratta del tuo progetto Google Cloud di FinOps o amministrazione della fatturazione.

  3. Nella pagina API BigQuery Data Transfer Service, fai clic su Abilita per attivare l'API nel progetto selezionato.

Per ulteriori informazioni sull'abilitazione delle API, consulta la documentazione di Service Usage.

4. Crea un set di dati BigQuery

Prima di attivare l'esportazione dei dati di fatturazione Cloud in BigQuery, devi creare almeno un set di dati BigQuery per gestire i dati esportati. Puoi utilizzare lo stesso set di dati per contenere i dati relativi al costo di utilizzo standard, al costo di utilizzo dettagliato e ai prezzi.

Un set di dati è contenuto in un progetto Google Cloud specificato. I set di dati sono contenitori di primo livello utilizzati per organizzare e controllare l'accesso alle tabelle e alle viste. Una tabella o una vista deve appartenere a un set di dati, quindi devi creare almeno un set di dati prima di caricare i dati in BigQuery.

Se utilizzi un set di dati esistente, esamina le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio la mancata possibilità di esportare i dati in set di dati configurati per utilizzare la crittografia con chiavi gestite dal cliente o la mancata possibilità di utilizzare un set di dati configurato con una località regione non supportata.

Per creare un set di dati BigQuery, segui questi passaggi:

  1. Accedi alla console Google Cloud e vai alla pagina BigQuery.

    Vai alla pagina BigQuery

  2. Nell'elenco a discesa Progetto ( Il mio progetto ) nella parte superiore della pagina della console Google Cloud, seleziona il progetto che hai configurato per contenere il set di dati. Prendi nota dell'ID progetto, poiché lo utilizzerai nei passaggi successivi.

  3. Nel riquadro Explorer, nella sezione Progetti bloccati, fai clic su your-project-ID per espandere il progetto in modo da visualizzare eventuali set di dati esistenti e query salvate.

  4. Accanto all'ID progetto, fai clic sul menu Visualizza azioni (), quindi su Crea set di dati. Viene visualizzato il riquadro Crea set di dati.

    1. Specifica un ID set di dati. Consigliamo un ID che includa più progetti, ad esempio all_billing_data, anziché un ID specifico per progetto.

    2. Seleziona una Località dei dati. La posizione dei dati specifica la regione o la multiregione in cui sono archiviati i dati. Tutte le tabelle all'interno del set di dati condividono questa posizione.

      Consigliamo di selezionare una località con più regioni (UE o Stati Uniti)**. Per le esportazioni dei dati relativi ai costi di utilizzo standard e ai costi di utilizzo dettagliati, la località selezionata può influire sul fatto che i dati del mese precedente vengano aggiunti al set di dati in modo retroattivo. Consulta le limitazioni per ulteriori informazioni sulle località dei set di dati e sulla disponibilità dei dati.

      L'esportazione della fatturazione Cloud supporta tutte le località con più regioni (UE o USA). Tuttavia, per l'esportazione della fatturazione Cloud in BigQuery è supportato solo un sottoinsieme di località della regione del set di dati. Consulta le limitazioni per ulteriori informazioni sulle località dei set di dati.

      Una volta creato il set di dati, la posizione non può essere modificata. Scopri di più sulle località.

    3. Assicurati che l'opzione Abilita scadenza della tabella sia deselezionata.

      Se attivi la scadenza delle tabelle e inserisci un numero di giorni, ogni nuova tabella creata in questo set di dati viene eliminata automaticamente dopo il numero di giorni specificato dopo la creazione.

    4. Nella sezione Opzioni avanzate, assicurati che l'impostazione selezionata per Crittografia sia Chiave di crittografia gestita da Google.

      Non utilizzare l'opzione Chiave di crittografia gestita dal cliente (CMEK). La crittografia CMEK non è supportata per l'esportazione degli record dei dati di fatturazione Cloud in BigQuery.

    5. Per salvare, fai clic su Crea set di dati.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Se sei un rivenditore*, puoi riutilizzare lo stesso progetto e lo stesso set di dati che hai appena creato quando attivi l'esportazione dei dati di fatturazione di Channel Services specifici per il rivenditore.

5. Abilita l'esportazione della fatturazione Cloud nel set di dati BigQuery

Puoi attivare l'esportazione dei dati di fatturazione Cloud nella sezione Fatturazione Cloud della console Google Cloud. Di seguito sono riportati i tipi di dati che puoi attivare per l'esportazione:

  • Dati sul costo di utilizzo standard: contengono informazioni sull'utilizzo del costo dell'account di fatturazione Cloud standard, come ID account, data fattura, servizi, SKU, progetti, etichette, località, costo, utilizzo, crediti, aggiustamenti e valuta.

    Utilizza l'esportazione dell'utilizzo standard per analizzare tendenze generali nei tuoi dati di costo.

  • Dati di costo di utilizzo dettagliati: contengono informazioni dettagliate sull'utilizzo dei costi dell'account di fatturazione Cloud. Sono inclusi tutti i dati di costo di utilizzo standard, oltre ai dati di costo a livello di risorsa, come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio.

    Utilizza l'esportazione dettagliata per analizzare i costi a livello di risorsa e identificare le risorse specifiche che potrebbero far aumentare i costi.

    L'esportazione dettagliata include automaticamente informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata dei costi dei cluster Google Kubernetes Engine (GKE) in un'esportazione dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Dati sui prezzi: contengono informazioni sui prezzi dell'account di fatturazione Cloud, ad esempio ID account, servizi, SKU, prodotti, metadati geografici, unità di prezzo, valuta, aggregazione e livelli.

Per consentire l'esportazione dei dati di costo di utilizzo o di prezzi della fatturazione Cloud in BigQuery, procedi nel seguente modo:

  1. Nella console Google Cloud, vai alla pagina Esportazione della fatturazione.

    Vai alla pagina Esportazione della fatturazione

  2. Quando richiesto, scegli l'account di fatturazione Cloud per cui vuoi esportare i dati di fatturazione. Si apre la pagina Esportazione della fatturazione per l'account di fatturazione selezionato.

  3. Nella scheda BigQuery Export, fai clic su Modifica impostazioni per ogni tipo di dati che vuoi esportare. Ogni tipo di dati viene configurato separatamente.

  4. Nell'elenco Progetti, seleziona il progetto che hai configurato per contenere il set di dati BigQuery.

    Il progetto selezionato viene utilizzato per archiviare i dati di fatturazione Cloud esportati nel set di dati BigQuery.

    Per le esportazioni dei dati standard e costo di utilizzo dettagliato, i dati di fatturazione Cloud includono i dati di utilizzo e di costo per tutti i progetti Google Cloud pagati dallo stesso account di fatturazione Cloud.

    Per l'esportazione dei dati relativi ai prezzi, i dati di fatturazione Cloud includono solo i dati relativi ai prezzi specifici dell'account di fatturazione Cloud collegato al progetto del set di dati selezionato.

  5. Nel campo ID set di dati, seleziona il set di dati che hai configurato per contenere i dati di fatturazione Cloud esportati.

    Per tutti i tipi di dati di fatturazione Cloud esportati in BigQuery, si applica quanto segue:

    • L'API BigQuery è necessaria per esportare i dati in BigQuery. Se nel progetto selezionato non è abilitata l'API BigQuery, ti verrà chiesto di farlo. Fai clic su Abilita l'API BigQuery per attivare l'API.
    • Se il progetto selezionato non contiene set di dati BigQuery, ti verrà chiesto di crearne uno. Se necessario, segui questi passaggi per creare un nuovo set di dati.
    • Se utilizzi un set di dati esistente, esamina le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio la mancata possibilità di esportare i dati nei set di dati configurati per l'utilizzo di un CMEK o la mancata possibilità di utilizzare un set di dati configurato con una località regione non supportata.

    Per l'esportazione dei dati relativi ai prezzi, è necessaria l'API BigQuery Data Transfer Service per esportare i dati in BigQuery. Se nel progetto selezionato non è abilitata l'API BigQuery Data Transfer Service, ti verrà chiesto di farlo. Se necessario, segui questi passaggi per abilitare l'API.

  6. Fai clic su Salva.

Aggiorna i dati di fatturazione Cloud da esportare

Dopo aver abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery, puoi modificare i dati da esportare disattivando o attivando i diversi tipi.

Prima di disattivare le esportazioni dei dati, esamina le limitazioni e le linee guida sulla disponibilità dei dati per capire in che modo potrebbero influire sui dati di fatturazione esportati in BigQuery.

Per disattivare un tipo di fatturazione Cloud che viene esportato in BigQuery, procedi nel seguente modo:

  1. Seleziona Disattiva esportazione standard, Disattiva esportazione dettagliata o Disattiva esportazione dei prezzi di conseguenza.
  2. Seleziona Conferma per salvare la selezione.

Per abilitare l'esportazione in BigQuery di un tipo di fatturazione Cloud attualmente disattivato, consulta Abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery.

Informazioni sulle autorizzazioni per i set di dati

L'esportazione della fatturazione Cloud in BigQuery utilizza un account di servizio per gestire le autorizzazioni del set di dati.

Dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, Google aggiunge automaticamente un account di servizio come proprietario al set di dati da te specificato. Gli account di servizio hanno il seguente aspetto:

  • Per i set di dati dei costi di utilizzo standard e dettagliati: billing-export-bigquery@system.gserviceaccount.com
  • Per il set di dati Prezzi: cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Gli account di servizio sono di proprietà e gestiti da Google e forniscono le autorizzazioni necessarie al nostro processo offline per creare una tabella e scrivervi i record di fatturazione Cloud.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Tabelle dei dati di fatturazione

Poco dopo aver attivato l'esportazione della fatturazione Cloud in BigQuery, le tabelle dei dati di fatturazione vengono create automaticamente nel set di dati BigQuery. Per scoprire di più su queste tabelle BigQuery e sugli schemi delle tabelle, consulta Informazioni sulle tabelle di dati create automaticamente in BigQuery.

Frequenza dei caricamenti di dati

  • Quando attivi per la prima volta l'esportazione del costo di utilizzo standard o dettagliato in BigQuery, potrebbero essere necessarie alcune ore prima che i dati di costo di Google Cloud vengano propagati al set di dati BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurata per includere i dati in modo retroattivo per il mese corrente e quello precedente, potrebbero essere necessari fino a cinque giorni prima che i dati esportati vengano aggiornati completamente ai dati di utilizzo correnti.
  • Quando attivi per la prima volta l'esportazione dei prezzi in BigQuery, potrebbero essere necessarie fino a 48 ore prima che vengano visualizzati i dati relativi ai prezzi di Google Cloud.

Scopri di più sulla frequenza dei caricamenti dei dati nelle tabelle BigQuery.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

  • Località dei set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud

    I set di dati BigQuery sono configurati per utilizzare una località, ovvero una località multiregionale (UE o USA) o una località regionale. La posizione del set di dati viene impostata al momento della creazione. Una volta creato un set di dati, la sua posizione non può essere modificata.

    L'esportazione dei dati del fatturazione Cloud supporta tutte le località a più regioni (UE o Stati Uniti), ma solo un sottoinsieme di località a livello di regione. Quando configuri le impostazioni di esportazione del fatturazione Cloud, se crei o selezioni un set di dati configurato per utilizzare una località in una regione non supportata, quando tenti di salvare le impostazioni di esportazione, viene visualizzato un errore Regione set di dati non valida.

    La tabella seguente elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery che contengono dati di fatturazione Cloud.

    Americhe Asia Pacifico Europa

    Più regioni: Stati Uniti

    Regioni:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (San Paolo)
    • us-central1 (Iowa)
    • us-east1 (Carolina del Sud)
    • us-east4 (Virginia del Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regioni:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • Asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapore)
    • Asia-southeast2 (Giacarta)
    • australia-southeast1 (Sydney)

    Più regioni: UE

    Regioni:

    • europe-central2 (Varsavia)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgio)
    • europe-west2 (Londra)
    • europe-west3 (Francoforte)
    • europe-west4 (Paesi Bassi)
    • europe-west6 (Zurigo)

  • Per i set di dati BigQuery contenenti dati di costo di utilizzo standard o dati di costo di utilizzo dettagliato, il tipo di località configurato nel set di dati influisce sui tempi di esportazione dei dati di fatturazione di Google Cloud nel set di dati:

    • Se configuri il set di dati in modo da utilizzare una località multiregionale (UE o Stati Uniti), il set di dati include i dati di fatturazione di Google Cloud sostenuti dall'inizio del mese precedente da quando hai attivato per la prima volta l'esportazione, a meno che tu non stia riattivando l'esportazione. In altre parole, i dati di fatturazione di Google Cloud vengono aggiunti in modo retroattivo per il mese corrente e quello precedente. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni per completare l'esportazione dei dati della fatturazione Cloud retroattiva prima di iniziare a visualizzare i dati di utilizzo correnti.

    • Se il set di dati è configurato per utilizzare una località supportata della regione, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione di Google Cloud sostenuti a partire dalla data in cui hai attivato l'esportazione della fatturazione Cloud. In altre parole, i dati di fatturazione Google Cloud non vengono aggiunti in modo retroattivo per le località dei set di dati non multiregione, pertanto non vedrai i dati di fatturazione Cloud precedenti all'attivazione dell'esportazione.

    • Per maggiori dettagli, consulta la sezione Disponibilità dei dati.

  • I set di dati BigQuery contenente dati sui prezzi raccolgono solo i dati di fatturazione di Google Cloud sostenuti dalla data in cui hai configurato l'esportazione del fatturazione Cloud e in seguito. In altre parole, i dati di prezzo di Google Cloud non vengono aggiunti in modo retroattivo, pertanto non vedrai i dati di prezzo di Fatturazione Cloud precedenti all'attivazione dell'esportazione. Per maggiori dettagli, consulta la sezione Disponibilità dei dati.

  • Quando esporti i dati di costo di utilizzo dettagliati, l'esportazione dettagliata include automaticamente informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata dei costi dei cluster Google Kubernetes Engine (GKE) in un'esportazione dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Crittografia dei set di dati: le chiavi di crittografia gestite dal cliente (CMEK) non sono supportate durante l'esportazione dei dati di fatturazione in BigQuery. Se attivi la crittografia CMEK per il set di dati dei dati di fatturazione, questo tipo di crittografia impedisce a Fatturazione Cloud di scrivere i dati di fatturazione nelle tabelle appropriate all'interno del set di dati. Devi invece attivare il set di dati in modo che utilizzi una chiave di proprietà e gestita da Google.

  • Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella contenente i dati esportati, devi concedere all'account di servizio billing-export-bigquery@system.gserviceaccount.com per l'esportazione della fatturazione Cloud accesso completo alla tabella utilizzando il filtro TRUE di BigQuery. Il seguente comando concede l'accesso all'account di servizio fatturazione Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • La propagazione dei tag a livello di risorsa alle esportazioni di BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso in un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzata nell'esportazione.

    I tag a livello di risorsa sono disponibili per le seguenti risorse:

    • Istanze di Compute Engine
    • Istanze Spanner
    • Servizi Cloud Run
    • Repository Artifact Registry

  • Se utilizzi Controlli di servizio VPC, le esportazioni di BigQuery potrebbero essere bloccate. Per risolvere il problema, devi esentare manualmente il VPC.

Report su costi e prezzi disponibili nella console Google Cloud

Indietro
Panoramica dell'esportazione dei dati di fatturazione in BigQuery
Avanti
Informazioni sulle tabelle di dati di fatturazione in BigQuery