Configurare l'esportazione dei dati di fatturazione Cloud in BigQuery

Questa guida fornisce tutti i passaggi di configurazione necessari per abilitare i dati di fatturazione Cloud esportarla in BigQuery.

Per esportare i dati di fatturazione Cloud in BigQuery, utilizza seguenti passaggi:

  • Crea un progetto in cui verranno conservati i dati di fatturazione Cloud archiviati e abilitare la fatturazione per il progetto (se non l'hai già fatto .
  • Configura le autorizzazioni sul progetto e sull'account di fatturazione Cloud.
  • Attiva l'API BigQuery Data Transfer Service (necessaria per esportare i dati sui prezzi).
  • Crea un set di dati BigQuery in cui archiviare i dati.
  • Abilita la scrittura dell'esportazione dei dati di costo e sui prezzi nella fatturazione Cloud nel set di dati.

In questo documento vengono illustrati i dettagli di ciascuno di questi passaggi.

Informazioni sulla console Google Cloud

Console Google Cloud (consulta la documentazione, apri la console) è una UI web utilizzata per eseguire il provisioning, configurare, gestire e monitorare i sistemi che utilizzano Google Cloud. Utilizza la console Google Cloud per configurare e gestire le risorse Google Cloud e Cloud Billing.

Autorizzazioni richieste per questa attività

Per abilitare e configurare l'esportazione del costo di utilizzo della fatturazione Google Cloud in un set di dati BigQuery, è necessario quanto segue autorizzazioni:

  • Per la fatturazione Cloud, devi disporre del ruolo Billing Account Costs Manager o del ruolo Billing Account Administrator nell'account di fatturazione Cloud di destinazione.
  • Per BigQuery, è necessaria la classe Ruolo Utente BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare archiviare i dati di fatturazione Cloud.

Per abilitare e configurare l'esportazione dei prezzi della fatturazione Cloud devi disporre delle seguenti autorizzazioni:

  • Per Cloud Billing, devi disporre del ruolo Amministratore account di fatturazione nell'account di fatturazione Cloud di destinazione.
  • Per BigQuery, è necessaria la classe Ruolo di amministratore BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare archiviare i dati sui prezzi della fatturazione Cloud.
  • Per il progetto Google Cloud contenente il set di dati di destinazione, devi disporre dell'autorizzazione resourcemanager.projects.update. Questa autorizzazione è incluso nel ruolo roles/editor.

Potresti anche aver bisogno di altre autorizzazioni di progetto. Se sei membro di un organizzazione Google Cloud, per creare un nuovo progetto è necessario Autore progetto nell'organizzazione o nella cartella. In particolare, per creare un nuovo progetto, devi disporre delle seguenti autorizzazioni:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Per ulteriori informazioni sulle autorizzazioni di Google Cloud, consulta:

Abilita l'esportazione dei dati di fatturazione Cloud in BigQuery

Completa i 5 passaggi descritti in questa sezione per abilitare l'esportazione del tuo i dati di fatturazione Cloud in BigQuery.

Per una rapida introduzione all'abilitazione dell'esportazione dei dati di fatturazione e dell'esecuzione di un esempio query dei dati di fatturazione Cloud in BigQuery, segui questo tutorial interattivo per l'esportazione dei dati di fatturazione.

Se sei un rivenditore, puoi configurare un'esportazione specifica per il rivenditore Dati di fatturazione di Channel Services tramite la Console Partner Sales. Per farlo, segui i passaggi da 1 a 4 di questa pagina per creare il progetto e il set di dati BigQuery. Per il passaggio 5, consulta Esportare i dati di Channel Services in BigQuery per attivare l'esportazione.

1. Seleziona o crea un progetto

I dati di fatturazione Cloud esportati in BigQuery sono contenuti in un set di dati BigQuery. Un set di dati è contenuto in un progetto Google Cloud da te specificato.

Consiglio sui progetti: ti consigliamo di creare e utilizzare un un progetto Google Cloud separato per contenere tutte le attività FinOps e le esigenze amministrative di un account di fatturazione Cloud, tra cui i dati di fatturazione Cloud esportati. Scopri di più sui vantaggi dell'utilizzo di un progetto incentrato su FinOps per i casi d'uso di amministrazione della fatturazione.

Importante: il progetto Google Cloud selezionato per contenere il set di dati deve essere collegato allo stesso account di fatturazione Cloud che contiene i dati che prevedi di esportare nel set di dati BigQuery. Un progetto Google Cloud è collegato a un solo account di fatturazione Cloud alla volta. Un account di fatturazione Cloud è collegato a uno o più progetti.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Scopri di più su come creare e gestire progetti.

2. Verificare che la fatturazione sia abilitata

Devi assicurarti che la fatturazione sia abilitata nel progetto Google Cloud sceglierai di contenere il tuo set di dati e che il progetto Google Cloud collegato allo stesso account di fatturazione Cloud contenente i dati che intendi esportare set di dati BigQuery.

3. Abilita l'API BigQuery Data Transfer Service

Se prevedi di esportare i dati sui prezzi di Fatturazione Cloud in BigQuery, devi abilitare l'API BigQuery Data Transfer Service. Se non prevedi di esportare i dati sui prezzi di Fatturazione Cloud, puoi saltare al passaggio 4. Crea un set di dati BigQuery.

L'API BigQuery Data Transfer Service deve essere abilitata nello stesso progetto Google Cloud che stai utilizzando per contenere i tuoi set di dati BigQuery. Se hai seguito il consiglio riportato nella sezione del progetto, questo è il tuo progetto Google Cloud di FinOps o amministrazione della fatturazione.

Per attivare l'API BigQuery Data Transfer Service, segui questi passaggi:

  1. Accedi alla console Google Cloud e vai alla pagina dell'API.

    Vai alla pagina dell'API BigQuery Data Transfer Service

  2. In alto a sinistra nella pagina, seleziona un progetto. Devi attivare il parametro l'API BigQuery Data Transfer Service nello stesso progetto che stai utilizzando per contenere i tuoi set di dati BigQuery. Se segui consiglio nel sezione del progetto, questo è il tuo progetto Google Cloud FinOps o di amministrazione della fatturazione.

  3. Nella pagina dell'API BigQuery Data Transfer Service, fai clic su Abilita per abilitare l'API nel tuo progetto selezionato.

Per ulteriori informazioni sull'abilitazione delle API, consulta la documentazione di Service Usage.

4. Crea un set di dati BigQuery

Prima di abilitare l'esportazione dei tuoi dati di fatturazione Cloud in BigQuery, devi crearne almeno uno Set di dati BigQuery per gestire i dati esportati. Puoi usare lo stesso set di dati per contenere i dati sul costo di utilizzo standard, i dati sul costo di utilizzo dettagliato e i prezzi e i dati di Google Cloud.

Un set di dati è contenuto in un progetto Google Cloud specificato. I set di dati sono contenitori di primo livello utilizzati per organizzare e controllare l'accesso alle tabelle e alle viste. Una tabella o una vista deve appartenere a un set di dati, quindi devi crearne almeno una set di dati prima di per il caricamento di dati in BigQuery.

Se utilizzi un set di dati esistente, esamina le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio la mancata possibilità di esportare i dati in set di dati configurati per utilizzare la crittografia con chiavi gestite dal cliente o la mancata possibilità di utilizzare un set di dati configurato con una località regione non supportata.

Per creare un set di dati BigQuery, segui questi passaggi:

  1. Accedi alla console Google Cloud e vai alla pagina BigQuery.

    Vai alla pagina BigQuery

  2. Nell'elenco a discesa Progetto ( Il mio progetto ) nella parte superiore della pagina della console Google Cloud, seleziona il progetto che hai configurato per contenere il set di dati. Prendi nota dell'ID progetto, che utilizzerai nei passaggi successivi.

  3. Nel riquadro di esplorazione, nella sezione dei progetti bloccati, fai clic su your-project-ID per espandere il progetto in modo da visualizzare eventuali set di dati esistenti e query salvate.

  4. Accanto all'ID progetto, fai clic sul menu Visualizza azioni () seguito da fai clic su Crea set di dati. Si apre il riquadro Crea set di dati.

    1. Specifica un ID set di dati. Ti consigliamo un ID che includa più progetti, come all_billing_data, anziché un ID specifico per progetto.

    2. Seleziona una Località dei dati. La località dei dati specifica la località multiregionale o la regione in cui sono archiviati i tuoi dati. Tutte le tabelle all'interno del set di dati condividono questa posizione.

      Consigliamo di selezionare una località con più regioni (UE o Stati Uniti). Per le esportazioni dei dati relativi ai costi di utilizzo standard e ai costi di utilizzo dettagliati, la località selezionata può influire sul fatto che i dati del mese precedente vengano aggiunti al set di dati in modo retroattivo. Esamina il limitazioni per ulteriori informazioni sulle posizioni dei set di dati e sulla disponibilità dei dati.

      Tieni presente che l'esportazione della fatturazione Cloud supporta tutte località con più regioni (UE o USA). Tuttavia, per l'esportazione della fatturazione Cloud in BigQuery è supportato solo un sottoinsieme di località della regione del set di dati. Esamina le limitazioni per ulteriori informazioni sulle posizioni dei set di dati.

      Una volta creato il set di dati, la posizione non può essere modificata. Scopri di più sulle località.

    3. Assicurati che l'opzione Abilita scadenza della tabella sia deselezionata.

      Se abiliti la scadenza della tabella e inserisci un numero di giorni, tutte le nuove tabelle create in questo set di dati vengono eliminate automaticamente dopo il numero di giorni specificato dalla creazione. Importante: se elimini tabelle contenenti record di dati di fatturazione cloud esportati, questi record vengono eliminati e non possiamo eseguire il backfill dei record eliminati.

    4. Nella sezione Opzioni avanzate, assicurati che l'elemento selezionato L'impostazione Crittografia è Chiave di crittografia gestita da Google.

      Non utilizzare l'opzione Chiave di crittografia gestita dal cliente (CMEK). La crittografia CMEK non è supportata per l'esportazione i record dei dati di fatturazione Cloud in BigQuery.

    5. Per salvare, fai clic su Crea set di dati.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Se sei un rivenditore, puoi riutilizzare lo stesso progetto e set di dati che hai appena creato quando Attivare l'esportazione dei dati di fatturazione di Channel Services specifici per il rivenditore.

5. Abilita l'esportazione della fatturazione Cloud nel set di dati BigQuery

Puoi attivare l'esportazione dei dati di fatturazione Cloud nella sezione Fatturazione Cloud della console Google Cloud. Di seguito sono riportati i tipi di dati che puoi attivare per l'esportazione:

  • Dati sul costo di utilizzo standard: contengono informazioni sull'utilizzo del costo dell'account di fatturazione Cloud standard, come ID account, data fattura, servizi, SKU, progetti, etichette, località, costo, utilizzo, crediti, aggiustamenti e valuta.

    Utilizza l'esportazione dell'utilizzo standard per analizzare le tendenze generali dei dati di costo.

  • Dati dettagliati sui costi di utilizzo - Contiene informazioni dettagliate sull'utilizzo dei costi dell'account di fatturazione Cloud. Sono inclusi tutti i dati di costo di utilizzo standard, oltre ai dati di costo a livello di risorsa, come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio.

    Utilizzare l'esportazione dettagliata per analizzare i costi a livello di risorsa e identificare risorse specifiche che potrebbero far aumentare i tuoi costi.

    L'esportazione dettagliata include automaticamente informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata di Google Kubernetes Engine (GKE) di un cluster in un'esportazione dettagliata dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Dati sui prezzi: contengono informazioni sui prezzi dell'account Fatturazione cloud, ad esempio ID account, servizi, SKU, prodotti, metadati geografici, unità di prezzo, valuta, aggregazione e livelli.

Per abilitare la gestione dei costi di utilizzo o dei prezzi della fatturazione Cloud esportati in BigQuery, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Esportazione della fatturazione.

    Vai alla pagina Esportazione della fatturazione

  2. Al prompt, scegli l'account di fatturazione Cloud per il quale vuoi esportare i dati di fatturazione. Si apre la pagina Esportazione della fatturazione per l'account di fatturazione selezionato.

  3. Nella scheda BigQuery Export, fai clic su Modifica impostazioni per ogni tipo di dati che vuoi esportare. Ogni tipo di dati viene configurato separatamente.

  4. Dall'elenco Progetti, seleziona la il progetto che hai configurato per contenere i tuoi Set di dati BigQuery.

    Il progetto selezionato viene utilizzato per archiviare i dati di fatturazione Cloud esportati nel set di dati BigQuery.

    Per le esportazioni dei dati standard e costo di utilizzo dettagliato, i dati di fatturazione Cloud includono i dati di utilizzo/costo per tutti i progetti Google Cloud pagati dallo stesso account di fatturazione Cloud.

    Per l'esportazione dei dati sui prezzi, i dati di fatturazione Cloud includono solo sui prezzi specifici del settore Account di fatturazione Cloud collegato al progetto del set di dati selezionato.

  5. Nel campo ID set di dati, seleziona il set di dati che hai configurato per contenere i dati di fatturazione Cloud esportati.

    Per tutti i tipi di dati di fatturazione Cloud esportati in BigQuery, si applica quanto segue:

    • L'API BigQuery è necessaria per esportare i dati in in BigQuery. Se il progetto selezionato non include API BigQuery abilitata, ti viene chiesto di abilitarla. Fai clic su Abilita l'API BigQuery per attivare l'API.
    • Se il progetto selezionato non contiene set di dati BigQuery, ti viene chiesto di crearne uno. Se necessario, segui questi passaggi per creare un nuovo set di dati.
    • Se utilizzi un set di dati esistente, esamina le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio la mancata possibilità di esportare i dati in set di dati configurati per l'utilizzo di una chiave di crittografia gestita dal cliente (CMEK) o la mancata possibilità di utilizzare un set di dati configurato con una località della regione non supportata.

    Per l'esportazione dei dati relativi ai prezzi, è necessaria l'API BigQuery Data Transfer Service per esportare i dati in BigQuery. Se il progetto selezionato non include l'API BigQuery Data Transfer Service sia abilitata, ti verrà chiesto di abilitarla. Se necessario, segui questi passaggi per abilitare l'API.

  6. Fai clic su Salva.

Aggiorna i dati di fatturazione Cloud da esportare

Dopo aver abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery, puoi modificare i dati esportati disattivando o abilitando di testo.

Prima di disattivare le esportazioni dei dati, esamina le limitazioni e le linee guida sulla disponibilità dei dati per capire in che modo potrebbero influire sui dati di fatturazione esportati in BigQuery.

Per disattivare un tipo di fatturazione Cloud che viene esportato in BigQuery, procedi nel seguente modo:

  1. Seleziona Disattiva esportazione standard, Disattiva esportazione dettagliata o Disattiva esportazione dei prezzi di conseguenza.
  2. Seleziona Conferma per salvare la selezione.

Per abilitare l'esportazione in BigQuery di un tipo di fatturazione Cloud attualmente disattivato, consulta Abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery.

Informazioni sulle autorizzazioni dei set di dati

L'esportazione della fatturazione Cloud in BigQuery utilizza un account di servizio per gestire le autorizzazioni del set di dati.

Dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, Google aggiunge automaticamente un account di servizio come proprietario al set di dati che specificare. Gli account di servizio hanno il seguente aspetto:

  • Per i set di dati dei costi di utilizzo standard e dettagliati: billing-export-bigquery@system.gserviceaccount.com
  • Per il set di dati dei prezzi: cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Gli account di servizio sono di proprietà di e gestiti da Google e forniscono i autorizzazioni necessarie al nostro processo offline per creare una tabella e scrivere i record di fatturazione Cloud.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Tabelle di dati di fatturazione

Poco dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, vengono create automaticamente in BigQuery del set di dati. Per saperne di più su queste tabelle BigQuery per gli schemi delle tabelle, consulta Informazioni sulle tabelle di dati create automaticamente in BigQuery.

Frequenza di caricamento dei dati

  • Quando per la prima volta attivi l'esportazione in BigQuery del costo di utilizzo standard o dettagliato, potrebbero essere necessarie alcune ore prima che i dati di costo di Google Cloud vengano propagati al set di dati BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurate per includere i dati retroattivamente per il mese corrente e quelli precedenti. potrebbero essere necessari fino a 5 giorni prima che i dati esportati dati sull'utilizzo attuale.
  • Quando abiliti per la prima volta l'esportazione dei prezzi in BigQuery, potrebbero essere necessarie fino a 48 ore per iniziare a visualizzare i prezzi di Google Cloud e i dati di Google Cloud.

Scopri di più sulla frequenza di caricamento dei dati in Tabelle BigQuery.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

  • Località del set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud

    I set di dati BigQuery sono configurati per utilizzare una località, ovvero una località multiregionale (UE o USA) o una località regionale. La posizione del set di dati viene impostata al momento della creazione. Dopo aver creato un set di dati, la sua la località non può essere modificata.

    L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o USA), ma solo un sottoinsieme di località in regioni. Quando configuri le impostazioni di esportazione di Fatturazione Cloud, se crei o selezioni un set di dati configurato per utilizzare una posizione in regione non supportata, quando provi a salvare le impostazioni di esportazione, viene visualizzato un errore Regione set di dati non valida.

    La tabella seguente elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery utilizzati per contenere i dati di fatturazione Cloud.

    Americhe Asia Pacifico Europa

    Più regioni: Stati Uniti

    Regioni:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (San Paolo)
    • us-central1 (Iowa)
    • us-east1 (Carolina del Sud)
    • us-east4 (Virginia del Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regioni:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapore)
    • asia-southeast2 (Giacarta)
    • australia-southeast1 (Sydney)

    Più regioni: UE

    Regioni:

    • europe-central2 (Varsavia)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgio)
    • europe-west2 (Londra)
    • europe-west3 (Francoforte)
    • europe-west4 (Paesi Bassi)
    • europe-west6 (Zurigo)

  • Per i set di dati BigQuery contenenti dati di costo di utilizzo standard o dati di costo di utilizzo dettagliato, il tipo di località configurato nel set di dati influisce sui tempi di esportazione dei dati di fatturazione di Google Cloud nel set di dati:

    • Se configuri il set di dati per utilizzare una località più regioni (UE o USA), il set di dati include i dati di fatturazione Google Cloud dall'inizio del mese precedente da quando hai abilitato per la prima volta l'esportazione, a meno che non la riattivi. Vale a dire che I dati di fatturazione di Google Cloud vengono aggiunti in modo retroattivo per l'attuale periodo e il mese precedente. Per il backfill iniziale dei dati esportati, potrebbe possono essere necessari fino a 5 giorni per il completamento dei dati di fatturazione Cloud retroattivi prima di iniziare a vedere i dati sull'utilizzo attuale.

    • Se il set di dati è configurato per utilizzare una località supportata della regione, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione di Google Cloud sostenuti a partire dalla data in cui hai attivato l'esportazione della fatturazione Cloud. Vale a dire che I dati di fatturazione di Google Cloud non vengono aggiunti in modo retroattivo per località di set di dati non multiregionali, quindi non vedrai la fatturazione Cloud i dati precedenti all'abilitazione dell'esportazione.

    • Per ulteriori dettagli, vedi Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti i dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud derivanti da la data in cui hai configurato l'esportazione della fatturazione Cloud e successiva. In altre parole, i dati sui prezzi di Google Cloud non vengono aggiunti in modo retroattivo, pertanto non vedrai i dati sui prezzi di Fatturazione Cloud precedenti all'attivazione dell'esportazione. Per ulteriori dettagli, vedi Disponibilità dei dati.

  • Quando esporti i dati dettagliati dei costi di utilizzo, l'esportazione dettagliata include automaticamente le informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata dei costi dei cluster Google Kubernetes Engine (GKE) in un'esportazione dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Crittografia dei set di dati: le chiavi di crittografia gestite dal cliente (CMEK) non sono supportate durante l'esportazione dei dati di fatturazione in BigQuery. Se attivi la crittografia CMEK per il set di dati dei dati di fatturazione, questo tipo di crittografia impedisce a Cloud Billing di scrivere i dati di fatturazione nelle tabelle appropriate all'interno del set di dati. Invece, devi attivare il dataset per utilizzare una chiave di proprietà di Google e gestita da Google.

  • Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella che contiene i dati esportati, devi fornire all'esportazione della fatturazione Cloud accesso completo alla tabella per l'account di servizio billing-export-bigquery@system.gserviceaccount.com utilizzando il filtro TRUE di BigQuery. Il seguente comando concede l'accesso all'account di servizio Cloud Billing:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • La propagazione dei tag a livello di risorsa alle esportazioni di BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso in un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzata nell'esportazione.

    I tag a livello di risorsa sono disponibili per le seguenti risorse:

    • Istanze di Compute Engine
    • Istanze Spanner
    • Servizi Cloud Run
    • Repository Artifact Registry

  • Se utilizzi Controlli di servizio VPC, potrebbero essere bloccate le esportazioni di BigQuery. Per risolvere il problema, devi esentare manualmente il VPC.

Report su costi e prezzi disponibili nella console Google Cloud

Indietro
Panoramica dell'esportazione dei dati di fatturazione in BigQuery
Avanti
Informazioni sulle tabelle di dati di fatturazione in BigQuery