Configurare l'esportazione dei dati di fatturazione Cloud in BigQuery

Questa guida fornisce tutti i passaggi di configurazione necessari per abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery.

Per esportare i dati di fatturazione Cloud in BigQuery, segui questi passaggi:

  • Crea un progetto in cui verranno archiviati i dati di fatturazione Cloud e abilita la fatturazione per il progetto (se non l'hai già fatto).
  • Configura le autorizzazioni per il progetto e per l'account di fatturazione Cloud.
  • Abilita l'API BigQuery Data Transfer Service (necessaria per esportare i dati dei prezzi).
  • Crea un set di dati BigQuery in cui archiviare i dati.
  • Abilita l'esportazione dei dati di costo e dei prezzi della fatturazione Cloud da scrivere nel set di dati.

Questo documento illustra i dettagli di ognuno di questi passaggi.

Informazioni sulla console Google Cloud

La console Google Cloud (consulta la documentazione, console aperta) è una UI web utilizzata per eseguire il provisioning, la configurazione, la gestione e il monitoraggio dei sistemi che usano i prodotti Google Cloud. Per configurare e gestire le risorse Google Cloud e la fatturazione Cloud, si usa la console Google Cloud.

Autorizzazioni richieste per questa attività

Per abilitare e configurare l'esportazione dei dati sui costi di utilizzo della fatturazione Google Cloud in un set di dati BigQuery, devi disporre delle seguenti autorizzazioni:

  • Per la fatturazione Cloud, devi disporre del ruolo Gestore costi account di fatturazione o del ruolo Amministratore account di fatturazione per l'account di fatturazione Cloud di destinazione.
  • Per BigQuery, devi avere il ruolo Utente BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare per archiviare i dati di fatturazione Cloud.

Per attivare e configurare l'esportazione dei dati sui pricing di fatturazione Cloud, devi disporre delle seguenti autorizzazioni:

  • Per la fatturazione Cloud, devi disporre del ruolo Amministratore account di fatturazione nell'account di fatturazione Cloud di destinazione.
  • Per BigQuery, devi avere il ruolo Amministratore BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare per archiviare i dati sui prezzi di fatturazione Cloud.
  • Per il progetto Google Cloud contenente il set di dati di destinazione, devi disporre dell'autorizzazione resourcemanager.projects.update. Questa autorizzazione è inclusa nel ruolo roles/editor.

Potrebbero essere necessarie anche altre autorizzazioni per il progetto. Se sei un membro di un'organizzazione Google Cloud, per creare un nuovo progetto devi disporre del ruolo Creatore progetto nell'organizzazione o nella cartella. In particolare, per creare un nuovo progetto, devi disporre delle seguenti autorizzazioni:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Per ulteriori informazioni sulle autorizzazioni di Google Cloud, consulta:

Abilita l'esportazione dei dati di fatturazione Cloud in BigQuery

Completa i 5 passaggi descritti in questa sezione per abilitare l'esportazione dei tuoi dati di fatturazione Cloud in BigQuery.

Per una rapida introduzione all'abilitazione dell'esportazione dei dati di fatturazione e all'esecuzione di query di esempio sui dati di fatturazione Cloud in BigQuery, segui questo tutorial interattivo per l'esportazione dei dati di fatturazione.

Se sei un rivenditore, puoi configurare un'esportazione specifica per il rivenditore dei dati di fatturazione di Channel Services utilizzando la Partner Sales Console. A questo scopo, segui i passaggi da 1 a 4 di questa pagina per creare il tuo progetto e il set di dati BigQuery. Quindi, per il passaggio 5, consulta Esportare i dati di Channel Services in BigQuery per abilitare l'esportazione.

1. Seleziona o crea un progetto

I dati di fatturazione Cloud esportati in BigQuery sono contenuti in un set di dati BigQuery. Un set di dati è contenuto all'interno di un progetto Google Cloud specificato da te.

Suggerimento sui progetti: ti consigliamo di creare un progetto Google Cloud che contenga tutte le tue esigenze di amministrazione della fatturazione, compresi i dati di fatturazione Cloud esportati. Puoi utilizzare questo progetto Google Cloud per l'amministrazione della fatturazione anche per attività quali l'accesso alle API Cloud Billing, i canali Pub/Sub per le notifiche del budget programmatiche e altre attività di amministrazione della fatturazione Cloud.

Importante: il progetto Google Cloud che selezioni per contenere il set di dati deve essere collegato allo stesso account di fatturazione Cloud contenente i dati che prevedi di esportare nel set di dati BigQuery. Un progetto Google Cloud è collegato a un solo account di fatturazione Cloud alla volta. Un account di fatturazione Cloud è collegato a uno o più progetti.

Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

Vai al selettore progetti

Scopri di più sulla creazione e gestione dei progetti.

2. Verificare che la fatturazione sia abilitata

Devi assicurarti che la fatturazione sia abilitata nel progetto Google Cloud selezionato per contenere il set di dati e che il progetto Google Cloud sia collegato allo stesso account di fatturazione Cloud contenente i dati che prevedi di esportare nel set di dati BigQuery.

3. Abilita l'API BigQuery Data Transfer Service

Se prevedi di esportare i dati sui prezzi del fatturazione Cloud in BigQuery, devi abilitare l'API BigQuery Data Transfer Service. Se non prevedi di esportare i dati sui prezzi di fatturazione Cloud, puoi andare al Passaggio 4. Crea un set di dati BigQuery.

L'API BigQuery Data Transfer Service deve essere abilitata nello stesso progetto Google Cloud che utilizzi per contenere i set di dati BigQuery. Se hai seguito il consiglio riportato nella sezione del progetto, questo è il tuo progetto Google Cloud di amministrazione della fatturazione.

Per abilitare l'API BigQuery Data Transfer Service:

  1. Accedi alla console Google Cloud e vai alla pagina dell'API.

    Vai alla pagina dell'API BigQuery Data Transfer Service

  2. In alto a sinistra nella pagina, seleziona un progetto. Devi abilitare l'API BigQuery Data Transfer Service nello stesso progetto che utilizzi per contenere il set di dati BigQuery. Se hai seguito il consiglio nella sezione del progetto, questo è il tuo progetto Google Cloud di amministrazione della fatturazione.

  3. Nella pagina dell'API BigQuery Data Transfer Service, fai clic su Abilita per abilitare l'API nel progetto selezionato.

Per ulteriori informazioni sull'abilitazione delle API, consulta la documentazione sull'utilizzo dei servizi.

4. Crea un set di dati BigQuery

Prima di abilitare l'esportazione dei tuoi dati di fatturazione Cloud in BigQuery, devi creare almeno un set di dati BigQuery per gestire i dati esportati. Puoi utilizzare lo stesso set di dati per contenere i dati sul costo di utilizzo standard, i dati sul costo di utilizzo dettagliato e i dati sui prezzi.

Un set di dati è contenuto all'interno di un progetto Google Cloud specificato da te. I set di dati sono contenitori di primo livello utilizzati per organizzare e controllare l'accesso alle tabelle e alle viste. Una tabella o una vista deve appartenere a un set di dati, quindi devi creare almeno un set di dati prima di caricare i dati in BigQuery.

Se utilizzi un set di dati esistente, esamina le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio l'impossibilità di esportare i dati in set di dati configurati per l'utilizzo della crittografia di chiave gestita dal cliente o l'impossibilità di utilizzare un set di dati configurato con una località in una regione non supportata.

Per creare un set di dati BigQuery:

  1. Accedi alla console Google Cloud e vai alla pagina BigQuery.

    Vai alla pagina di BigQuery

  2. Nell'elenco a discesa progetto ( Il mio progetto ) nella parte superiore della pagina della console Google Cloud, seleziona il progetto che hai configurato in modo che contenga il tuo set di dati. Prendi nota dell'ID progetto, perché lo utilizzerai nei passaggi successivi.

  3. Nel riquadro Explorer, nella sezione Progetti bloccati, fai clic su ID-progetto per espandere il progetto e visualizzare eventuali set di dati e query salvate esistenti.

  4. Accanto all'ID progetto, fai clic sul menu Visualizza azioni (), quindi su Crea set di dati. Si apre il riquadro Crea set di dati.

    1. Specifica un ID set di dati. Consigliamo un ID che estende i progetti, ad esempio all_billing_data, anziché un ID specifico del progetto.

    2. Seleziona una Località dei dati. La località specifica la località multiregione o regione in cui sono archiviati i dati. Tutte le tabelle all'interno del set di dati condividono questa posizione.

      Ti consigliamo di selezionare una località che include più regioni (UE o USA). Per le esportazioni dei dati relative al costo di utilizzo standard e al costo di utilizzo dettagliato, la località selezionata può influire sull'aggiunta retroattiva dei dati del mese precedente al set di dati. Consulta le limitazioni per ulteriori informazioni sulle posizioni dei set di dati e sulla disponibilità dei dati.

      Tieni presente che l'esportazione della fatturazione Cloud supporta tutte le località multiregionali (UE o USA). Tuttavia, è supportato solo un sottoinsieme di località in regioni del set di dati per l'esportazione della fatturazione Cloud in BigQuery. Consulta le limitazioni per ulteriori informazioni sulle posizioni dei set di dati.

      Una volta creato il set di dati, la località non può essere modificata. Scopri di più sulle località.

    3. Assicurati che l'opzione Abilita scadenza della tabella sia cancellata.

      Se abiliti la scadenza della tabella e inserisci un numero di giorni, qualsiasi nuova tabella creata in questo set di dati viene eliminata automaticamente dopo il numero di giorni specificato dopo la creazione. Importante: se elimini tabelle contenenti record di dati di fatturazione Cloud esportati, questi record vengono cancellati e non possiamo eseguire il backfill dei record eliminati.

    4. Nella sezione Opzioni avanzate, assicurati che l'impostazione Crittografia selezionata sia Chiave di crittografia gestita da Google.

      Non utilizzare l'opzione Chiave di crittografia gestita dal cliente (CMEK). La crittografia CMEK non è supportata per l'esportazione dei record di dati di fatturazione Cloud in BigQuery.

    5. Per salvare, fai clic su Crea set di dati.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Se sei un rivenditore, puoi riutilizzare lo stesso progetto e set di dati che hai appena creato quando attivi l'esportazione dei dati di fatturazione di Channel Services specifici per il rivenditore.

5. Abilita l'esportazione della fatturazione Cloud nel set di dati BigQuery

Puoi abilitare l'esportazione dei dati di fatturazione Cloud nella sezione Fatturazione Cloud della console Google Cloud. Questi sono i tipi di dati che puoi abilitare per l'esportazione:

  • Dati di costo di utilizzo standard: contiene informazioni sull'utilizzo standard dei costi dell'account di fatturazione Cloud, ad esempio ID account, data della fattura, servizi, SKU, progetti, etichette, località, costo, utilizzo, crediti, aggiustamenti e valuta.

    Utilizza l'esportazione di utilizzo standard per analizzare le tendenze generali nei dati di costo.

  • Dati dettagliati sui costi di utilizzo: contiene informazioni dettagliate sull'utilizzo dei costi dell'account di fatturazione Cloud. Include tutti i dati dei dati di costo di utilizzo standard oltre ai dati di costo a livello di risorsa, ad esempio una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio.

    Utilizza l'esportazione dettagliata per analizzare i costi a livello di risorsa e identificare le risorse specifiche che potrebbero aumentare i costi.

    L'esportazione dettagliata include automaticamente informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata dei costi dei cluster Google Kubernetes Engine (GKE) in un'esportazione dettagliata dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Dati dei prezzi: contengono informazioni sui prezzi dell'account di fatturazione Cloud, come ID account, servizi, SKU, prodotti, metadati geografici, unità di prezzo, valuta, aggregazione e livelli.

Per abilitare l'esportazione dei dati sui costi di utilizzo o sui prezzi del fatturazione Cloud in BigQuery, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Esportazione della fatturazione.

    Vai alla pagina Esportazione della fatturazione

  2. Al prompt, scegli l'account di fatturazione Cloud per il quale vuoi esportare i dati di fatturazione. Si apre la pagina Esportazione della fatturazione per l'account di fatturazione selezionato.

  3. Nella scheda Esportazione in BigQuery, fai clic su Modifica impostazioni per ciascun tipo di dati che intendi esportare. Ogni tipo di dati è configurato separatamente.

  4. Dall'elenco Progetti, seleziona il progetto che hai configurato per contenere il set di dati BigQuery.

    Il progetto selezionato viene utilizzato per archiviare i dati di fatturazione Cloud esportati nel set di dati BigQuery.

    Per le esportazioni di dati standard e dettagliati sui costi di utilizzo, i dati di fatturazione Cloud includono i dati di utilizzo/costo per tutti i progetti Google Cloud pagati dallo stesso account di fatturazione Cloud.

    Per l'esportazione dei dati sui pricing, i dati di fatturazione Cloud includono solo i dati dei prezzi specifici dell'account di fatturazione Cloud collegato al progetto del set di dati selezionato.

  5. Nel campo ID set di dati, seleziona il set di dati che hai configurato per contenere i dati di fatturazione Cloud esportati.

    Per tutti i tipi di dati di fatturazione Cloud esportati in BigQuery, si applica quanto segue:

    • L'API BigQuery è necessaria per esportare i dati in BigQuery. Se l'API BigQuery non è abilitata nel progetto selezionato, ti viene chiesto di abilitarla. Fai clic su Abilita API BigQuery per abilitare l'API.
    • Se il progetto selezionato non contiene set di dati BigQuery, ti viene chiesto di crearne uno. Se necessario, segui questi passaggi per creare un nuovo set di dati.
    • Se utilizzi un set di dati esistente, esamina le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio l'impossibilità di esportare i dati in set di dati configurati per utilizzare una chiave di crittografia gestita dal cliente (CMEK) o l'impossibilità di utilizzare un set di dati configurato con una località regione non supportata.

    Per l'esportazione dei dati dei pricing, è necessaria l'API BigQuery Data Transfer Service per esportare i dati in BigQuery. Se nel progetto selezionato non è abilitata l'API BigQuery Data Transfer Service, ti viene chiesto di abilitarla. Se necessario, segui questi passaggi per abilitare l'API.

  6. Fai clic su Salva.

Aggiorna i dati di fatturazione Cloud da esportare

Dopo aver abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery, puoi modificare i dati esportati disattivando o abilitando i diversi tipi.

Prima di disabilitare qualsiasi esportazione dei dati, consulta le limitazioni e le linee guida sulla disponibilità dei dati per sapere come potrebbe influire sui dati di fatturazione esportati in BigQuery.

Per disattivare l'esportazione di un tipo di fatturazione Cloud in BigQuery:

  1. Seleziona Disabilita esportazione standard, Disabilita esportazione dettagliata o Disabilita esportazione prezzi di conseguenza.
  2. Seleziona Conferma per salvare la selezione.

Per enable l'esportazione di un tipo di fatturazione Cloud attualmente disabilitato in BigQuery, consulta Abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery.

Informazioni sulle autorizzazioni del set di dati

L'esportazione della fatturazione Cloud in BigQuery utilizza un account di servizio per gestire le autorizzazioni del set di dati.

Dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, Google aggiunge automaticamente un account di servizio come proprietario al set di dati da te specificato. Gli account di servizio hanno il seguente aspetto:

  • Per i set di dati relativi ai costi di utilizzo standard e dettagliato: billing-export-bigquery@system.gserviceaccount.com
  • Per il set di dati dei prezzi: cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Gli account di servizio sono di proprietà e gestiti da Google e forniscono le autorizzazioni necessarie al nostro processo offline per creare una tabella e scrivere record di fatturazione Cloud nella tabella.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Tabelle dei dati di fatturazione

Poco dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, le tabelle dei dati di fatturazione vengono create automaticamente nel set di dati BigQuery. Per saperne di più su queste tabelle BigQuery e sugli schemi delle tabelle, consulta Informazioni sulle tabelle di dati create automaticamente in BigQuery.

Frequenza dei caricamenti di dati

  • Quando per la prima volta abiliti lo standard o il costo di utilizzo dettagliato in BigQuery, potrebbero essere necessarie alcune ore prima che i dati di costo di Google Cloud si propaghino in BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurata in modo da includere i dati retroattivamente per il mese corrente e quello precedente, potrebbero essere necessari fino a 5 giorni prima che i dati esportati siano completamente aggiornati con i dati sull'utilizzo attuale.
  • Quando abiliti per la prima volta l'esportazione dei pricing in BigQuery, potrebbero essere necessarie fino a 48 ore per iniziare a visualizzare i dati sui prezzi di Google Cloud.

Scopri di più sulla frequenza dei caricamenti dei dati nelle tabelle BigQuery.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

  • Località del set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud

    I set di dati BigQuery sono configurati per utilizzare una località: una località più regioni (UE o Stati Uniti) o una località a livello di regione. La località del set di dati viene impostata al momento della creazione. Una volta creato un set di dati, la sua posizione non può essere modificata.

    L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti), ma solo un sottoinsieme di località in regioni. Quando configuri le impostazioni di esportazione della fatturazione Cloud, se crei o selezioni un set di dati configurato per utilizzare una località di regione non supportata, quando tenti di salvare le impostazioni di esportazione, verrà visualizzato l'errore Regione del set di dati non valido.

    La seguente tabella elenca le località multiregionali e le località di regioni supportate per l'utilizzo con i set di dati BigQuery utilizzati per contenere dati di fatturazione Cloud.

    Americhe Asia Pacifico Europa

    Più regioni: Stati Uniti

    Regioni:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (San Paolo)
    • us-central1 (Iowa)
    • us-east1 (Carolina del Sud)
    • us-east4 (Virginia del Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regioni:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapore)
    • asia-southeast2 (Giacarta)
    • australia-southeast1 (Sydney)

    Più regioni: UE

    Regioni:

    • europe-central2 (Varsavia)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgio)
    • europe-west2 (Londra)
    • europe-west3 (Francoforte)
    • europe-west4 (Paesi Bassi)
    • europe-west6 (Zurigo)

  • Per i tuoi set di dati BigQuery contenenti dati sui costi di utilizzo standard o dati dettagliati sui costi di utilizzo, il tipo di località configurato nel set di dati influisce sul tempo relativo all'esportazione dei dati di fatturazione di Google Cloud nel set di dati:

    • Se configuri il set di dati in modo che utilizzi una località multiregionale (UE o Stati Uniti), il set di dati include i dati di fatturazione Google Cloud acquisiti dall'inizio del mese precedente dal momento in cui hai abilitato per la prima volta l'esportazione, a meno che tu non riattivi l'esportazione. Ciò significa che i dati di fatturazione di Google Cloud vengono aggiunti in modo retroattivo per il mese corrente e quello precedente. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a 5 giorni per il completamento dell'esportazione dei dati di fatturazione Cloud retroattivi prima che tu inizi a visualizzare i dati sull'utilizzo attuale.

    • Se il tuo set di dati è configurato per utilizzare una località regionale supportata, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione di Google Cloud a partire dalla data in cui hai abilitato l'esportazione di fatturazione Cloud e successivamente. Ciò significa che i dati di fatturazione di Google Cloud non vengono aggiunti in modo retroattivo per le località di set di dati diversi da più regioni, quindi non verranno visualizzati i dati di fatturazione Cloud prima di abilitare l'esportazione.

    • Per maggiori dettagli, consulta Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti dati sui prezzi raccolgono solo i dati di fatturazione di Google Cloud a partire dalla data in cui hai configurato l'esportazione della fatturazione Cloud. Ciò significa che i dati sui prezzi di Google Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi di fatturazione Cloud precedenti all'abilitazione dell'esportazione. Per maggiori dettagli, consulta Disponibilità dei dati.

  • Durante l'esportazione dei dati dettagliati sui costi di utilizzo, l'esportazione dettagliata include automaticamente informazioni su Compute Engine a livello di risorsa. Per visualizzare un'analisi dettagliata dei costi dei cluster Google Kubernetes Engine (GKE) in un'esportazione dettagliata dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Crittografia del set di dati: le chiavi di crittografia gestite dal cliente (CMEK) non sono supportate durante l'esportazione dei dati di fatturazione in BigQuery. Se abiliti la crittografia CMEK per il tuo set di dati dei dati di fatturazione, questo tipo di crittografia impedisce alla fatturazione Cloud di scrivere i dati di fatturazione nelle tabelle appropriate all'interno del set di dati. Devi invece abilitare il set di dati in modo che utilizzi una chiave di crittografia gestita da Google.

  • Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella che contiene i dati esportati, devi concedere all'account di servizio di esportazione della fatturazione Cloud billing-export-bigquery@system.gserviceaccount.com l'accesso completo alla tabella utilizzando il filtro TRUE di BigQuery. Il comando seguente concede l'accesso all'account di servizio di fatturazione Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • La propagazione dei tag a livello di risorsa nelle esportazioni di BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso entro un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzata nell'esportazione.

    I tag a livello di risorsa sono disponibili per le risorse seguenti:

    • Istanze di Compute Engine
    • Istanze Spanner
    • Servizi Cloud Run
    • Repository Artifact Registry

  • Se utilizzi Controlli di servizio VPC, le esportazioni di BigQuery potrebbero essere bloccate. Per risolvere il problema, devi escludere manualmente il VPC.

Report su costi e prezzi disponibili nella console Google Cloud

Indietro
Panoramica dell'esportazione dei dati di fatturazione in BigQuery
Avanti
Informazioni sulle tabelle di dati di fatturazione in BigQuery