Configurare l'esportazione dei dati di fatturazione Cloud in BigQuery

Questa guida fornisce tutti i passaggi di configurazione necessari per attivare i dati di fatturazione Cloud esportarla in BigQuery.

Per esportare i dati di fatturazione Cloud in BigQuery, utilizza il seguenti passaggi:

  • Crea un progetto in cui verranno conservati i dati di fatturazione Cloud archiviati e abilitare la fatturazione per il progetto (se non l'hai già fatto .
  • Configura le autorizzazioni sul progetto e sull'account di fatturazione Cloud.
  • Attiva l'API BigQuery Data Transfer Service (necessaria per esportare i dati sui prezzi).
  • Creare un set di dati BigQuery in cui archiviare i dati.
  • Abilita la scrittura dell'esportazione dei dati di costo e sui prezzi nella fatturazione Cloud nel set di dati.

In questo documento vengono illustrati i dettagli di ciascuno di questi passaggi.

Informazioni sulla console Google Cloud

Console Google Cloud (consulta la documentazione, apri la console) è una UI web utilizzata per eseguire il provisioning, configurare, gestire e monitorare i sistemi che utilizzano Google Cloud. Puoi usare la console Google Cloud per configurare e e gestire le risorse di fatturazione Google Cloud e Cloud.

Autorizzazioni richieste per questa attività

Per abilitare e configurare l'esportazione del costo di utilizzo della fatturazione Google Cloud in un set di dati BigQuery, è necessario quanto segue autorizzazioni:

  • Per la fatturazione Cloud, è necessario il Gestore dei costi dell'account di fatturazione o il ruolo Amministratore account di fatturazione per la destinazione di account di fatturazione Cloud.
  • Per BigQuery, hai bisogno Ruolo Utente BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare archiviare i dati di fatturazione Cloud.

Per abilitare e configurare l'esportazione dei pricing della fatturazione Cloud devi disporre delle seguenti autorizzazioni:

  • Per la fatturazione Cloud, devi disporre del ruolo Amministratore account di fatturazione sull'account di fatturazione Cloud di destinazione.
  • Per BigQuery, hai bisogno Ruolo di amministratore BigQuery per il progetto Google Cloud che contiene il set di dati BigQuery da utilizzare archiviare i dati sui prezzi della fatturazione Cloud.
  • Per il progetto Google Cloud contenente il set di dati di destinazione, è necessaria la classe Autorizzazione resourcemanager.projects.update. Questa autorizzazione è incluso nel ruolo roles/editor.

Potresti anche aver bisogno di altre autorizzazioni di progetto. Se sei membro di un organizzazione Google Cloud, per creare un nuovo progetto è necessario Autore progetto nell'organizzazione o nella cartella. In particolare, per creare un nuovo progetto, devi disporre delle seguenti autorizzazioni:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Per ulteriori informazioni sulle autorizzazioni di Google Cloud, consulta:

Abilita l'esportazione dei dati di fatturazione Cloud in BigQuery

Completa i 5 passaggi descritti in questa sezione per abilitare l'esportazione del tuo i dati di fatturazione Cloud in BigQuery.

Per una rapida introduzione all'abilitazione dell'esportazione dei dati di fatturazione e dell'esecuzione di un esempio query dei dati di fatturazione Cloud in BigQuery, segui questo tutorial interattivo per l'esportazione dei dati di fatturazione.

Se sei un rivenditore, puoi configurare un'esportazione specifica per il rivenditore Dati di fatturazione di Channel Services tramite la Console Partner Sales. Per farlo, segui i passaggi 1-4 di questa pagina per creare il tuo progetto e BigQuery del set di dati. Quindi, per il passaggio 5, consulta Esportare i dati di Channel Services in BigQuery per abilitare l'esportazione.

1. Seleziona o crea un progetto

I dati di fatturazione Cloud esportati in BigQuery sono contenuti in un set di dati BigQuery. Un set di dati è contenuto in un progetto Google Cloud da te specificato.

Consiglio sui progetti: ti consigliamo di creare una progetto Google Cloud per soddisfare tutte le tue esigenze di amministrazione della fatturazione, inclusi i dati di fatturazione Cloud esportati. Puoi usare anche questo il progetto Google Cloud di amministrazione della fatturazione per, API Cloud Billing l'accesso, i canali Pub/Sub notifiche relative al budget per la pubblicità programmatica, e altre attività di amministrazione della fatturazione Cloud.

Importante: il progetto Google Cloud che selezioni per contenere il tuo set di dati dovrebbe essere collegato allo stesso account di fatturazione Cloud contenente i dati che intendi esportare set di dati BigQuery. Un progetto Google Cloud collegato a un solo account di fatturazione Cloud alla volta. Un account di fatturazione Cloud è collegati a uno o più progetti.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Scopri di più su come creare e gestire progetti.

2. Verificare che la fatturazione sia abilitata

Devi assicurarti che la fatturazione sia abilitata nel progetto Google Cloud sceglierai di contenere il tuo set di dati e che il progetto Google Cloud collegato allo stesso account di fatturazione Cloud contenente i dati che intendi esportare set di dati BigQuery.

3. Abilita l'API BigQuery Data Transfer Service

Se prevedi di esportare i dati sui prezzi della fatturazione Cloud in BigQuery, devi abilitare l'API BigQuery Data Transfer Service. Se non prevedi di esportare i dati sui prezzi della fatturazione Cloud, puoi passa a Passaggio 4. Crea un set di dati BigQuery.

L'API BigQuery Data Transfer Service deve essere abilitata nello stesso progetto Google Cloud che stai utilizzando per contenere i tuoi set di dati BigQuery. Se ha seguito il consiglio della sezione del progetto, questo è il tuo progetto Google Cloud per l'amministrazione della fatturazione.

Per abilitare l'API BigQuery Data Transfer Service, segui questi passaggi:

  1. Accedi alla console Google Cloud e vai alla pagina dell'API.

    Vai alla pagina dell'API BigQuery Data Transfer Service

  2. In alto a sinistra nella pagina, seleziona un progetto. Devi attivare il parametro l'API BigQuery Data Transfer Service nello stesso progetto che stai utilizzando per contenere i tuoi set di dati BigQuery. Se segui consiglio nel sezione del progetto, questo è il tuo progetto Google Cloud per l'amministrazione della fatturazione.

  3. Nella pagina dell'API BigQuery Data Transfer Service, fai clic su Abilita per abilitare l'API nel tuo progetto selezionato.

Per ulteriori informazioni sull'abilitazione delle API, consulta Documentazione sull'utilizzo dei servizi.

4. Crea un set di dati BigQuery

Prima di abilitare l'esportazione dei tuoi dati di fatturazione Cloud in BigQuery, devi crearne almeno uno Set di dati BigQuery per gestire i dati esportati. Puoi usare lo stesso set di dati per contenere i dati sul costo di utilizzo standard, i dati sul costo di utilizzo dettagliato e i prezzi e i dati di Google Cloud.

Un set di dati è contenuto all'interno di un progetto Google Cloud da te specificato. I set di dati sono container di primo livello utilizzati per organizzare e controllare l'accesso al tuo tabelle e visualizzazioni. Una tabella o una vista deve appartenere a un set di dati, quindi devi crearne almeno una set di dati prima di per il caricamento di dati in BigQuery.

Se utilizzi un set di dati esistente, esamina il limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery come l'impossibilità di esportare i dati in set di dati configurati per l'utilizzo alla chiave gestita dal cliente o all'impossibilità di utilizzare un set di dati configurata con una località in una regione non supportata.

Per creare un set di dati BigQuery:

  1. Accedi alla console Google Cloud e vai a BigQuery .

    Vai alla pagina di BigQuery

  2. Nell'elenco a discesa del progetto () Il mio progetto ) nella parte superiore della pagina della console Google Cloud, seleziona progetto configurato per contenere il set di dati. Prendi nota dell'ID progetto, che utilizzerai nei passaggi successivi.

  3. Nel riquadro di esplorazione, nella sezione dei progetti bloccati, fai clic su your-project-ID per espandere il progetto e visualizzare eventuali set di dati esistenti e query salvate.

  4. Accanto all'ID progetto, fai clic sul menu Visualizza azioni () seguito da fai clic su Crea set di dati. Si apre il riquadro Crea set di dati.

    1. Specifica un ID set di dati. Consigliamo un ID che copra i progetti, ad esempio all_billing_data anziché un ID specifico del progetto.

    2. Seleziona una Località dei dati. La località dei dati specifica la località multiregionale o la regione in cui sono archiviati i tuoi dati. Tutte le tabelle all'interno del set di dati condividono questa posizione.

      Ti consigliamo di selezionare una località multiregionale (UE o USA). Per esportazioni dei dati relativi al costo di utilizzo standard e al costo di utilizzo dettagliato, la località selezionata può influire sul fatto che i dati del mese precedente viene aggiunta al set di dati in modo retroattivo. Esamina il limitazioni per ulteriori informazioni sulle posizioni dei set di dati e sulla disponibilità dei dati.

      Tieni presente che l'esportazione della fatturazione Cloud supporta tutte località con più regioni (UE o USA). Tuttavia, solo un sottoinsieme di set di dati Le località in regione sono supportate per l'esportazione della fatturazione Cloud in BigQuery. Esamina le limitazioni per ulteriori informazioni sulle posizioni dei set di dati.

      Dopo aver creato il set di dati, la località non può essere modificata. Scopri di più sulle località.

    3. Assicurati che l'opzione Abilita scadenza della tabella sia cancellata.

      Se abiliti la scadenza della tabella e inserisci un numero di giorni, tutte le nuove tabelle create in questo set di dati vengono eliminate automaticamente dopo il numero di giorni specificato dalla creazione. Importante: Se elimini tabelle contenenti i dati della fatturazione Cloud esportata, record di dati, questi record sono stati eliminati e non possiamo eseguire il backfill record.

    4. Nella sezione Opzioni avanzate, assicurati che l'elemento selezionato L'impostazione Crittografia è Chiave di crittografia gestita da Google.

      Non utilizzare l'opzione Chiave di crittografia gestita dal cliente (CMEK). La crittografia CMEK non è supportata per l'esportazione i record dei dati di fatturazione Cloud in BigQuery.

    5. Per salvare, fai clic su Crea set di dati.

Vedi le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Se sei un rivenditore, puoi riutilizzare lo stesso progetto e set di dati che hai appena creato quando Attivare l'esportazione dei dati di fatturazione di Channel Services specifici per il rivenditore.

5. Abilita l'esportazione della fatturazione Cloud nel set di dati BigQuery

Puoi abilitare l'esportazione dei dati di fatturazione Cloud nella della console Google Cloud. Questi sono i tipi di dati che può abilitare l'esportazione:

  • Dati di costo per utilizzo standard - Contiene informazioni standard sull'utilizzo dei costi dell'account di fatturazione Cloud, come ID account, data della fattura, servizi, SKU, progetti, etichette, località, costo, utilizzo, crediti, aggiustamenti e valuta.

    Utilizza l'esportazione dell'utilizzo standard per analizzare le tendenze generali dei dati di costo.

  • Dati dettagliati sui costi di utilizzo - Contiene informazioni dettagliate sull'utilizzo dei costi dell'account di fatturazione Cloud. Include tutte le informazioni incluse nei dati di costo per utilizzo standard più a livello di risorsa come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio.

    Utilizzare l'esportazione dettagliata per analizzare i costi a livello di risorsa e identificare risorse specifiche che potrebbero far aumentare i tuoi costi.

    L'esportazione dettagliata include automaticamente le informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata di Google Kubernetes Engine (GKE) di un cluster in un'esportazione dettagliata dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Dati dei prezzi - Contiene informazioni sui prezzi dell'account di fatturazione Cloud, come ID account, servizi, SKU, prodotti, metadati geografici, unità di prezzo, valuta, aggregazione e livelli.

Per abilitare la gestione dei costi di utilizzo o dei prezzi della fatturazione Cloud esportati in BigQuery, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Esportazione della fatturazione.

    Vai alla pagina di esportazione della fatturazione

  2. Al prompt, scegli l'account di fatturazione Cloud per il quale vuoi esportare i dati di fatturazione. Si apre la pagina Esportazione della fatturazione per l'account di fatturazione selezionato.

  3. Nella scheda Esportazione in BigQuery, fai clic su Modifica impostazioni per ogni tipo di dati da esportare. Ogni tipo di dati viene configurato separatamente.

  4. Dall'elenco Progetti, seleziona la il progetto che hai configurato per contenere i tuoi Set di dati BigQuery.

    Il progetto che selezioni viene utilizzato per archiviare la fatturazione Cloud esportata nel set di dati BigQuery.

    Per le esportazioni di dati standard e con costi di utilizzo dettagliati, il valore I dati di fatturazione Cloud includono i dati su utilizzo/costo per tutti Progetti Google Cloud pagati dallo stesso account di fatturazione Cloud.

    Per l'esportazione dei dati sui pricing, i dati di fatturazione Cloud includono solo sui prezzi specifici del settore Account di fatturazione Cloud collegato al progetto del set di dati selezionato.

  5. Nel campo ID set di dati, seleziona la set di dati configurato per contenere i dati di fatturazione Cloud esportati.

    Per tutti i tipi di dati di fatturazione Cloud esportati in BigQuery, si applica quanto segue:

    • L'API BigQuery è necessaria per esportare i dati in in BigQuery. Se il progetto selezionato non include API BigQuery abilitata, ti viene chiesto di abilitarla. Fai clic su Abilita API BigQuery per abilitare l'API.
    • Se il progetto selezionato non contiene set di dati BigQuery, ti viene chiesto di crearne uno. Se necessario, segui questi passaggi per creare un nuovo set di dati.
    • Se utilizzi un set di dati esistente, esamina il limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione BigQuery, ad esempio l'impossibilità di esportare i dati in set di dati configurati per l'utilizzo di una chiave di crittografia gestita dal cliente (CMEK) o di utilizzare un set di dati configurato con una regione non supportata. in ogni località.

    Per esportare dati sui pricing, è necessaria l'API BigQuery Data Transfer Service per esportare i dati in BigQuery. Se il progetto selezionato non include l'API BigQuery Data Transfer Service sia abilitata, ti verrà chiesto di abilitarla. Se segui questi passaggi per abilitare l'API.

  6. Fai clic su Salva.

Aggiorna i dati di fatturazione Cloud da esportare

Dopo aver abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery, puoi modificare i dati esportati disattivando o abilitando di testo.

Prima di disabilitare qualsiasi esportazione di dati, esamina il limitazioni e le linee guida sulla disponibilità dei dati sull'impatto che potrebbe avere sui dati di fatturazione esportati in BigQuery.

Per disabilitare un tipo di esportazione della fatturazione Cloud in BigQuery, segui questi passaggi:

  1. Seleziona Disabilita esportazione standard, Disabilita esportazione dettagliata oppure Disabilita l'esportazione dei prezzi di conseguenza.
  2. Seleziona Conferma per salvare la selezione.

Per enable l'esportazione di un tipo di fatturazione Cloud attualmente disabilitato per BigQuery, consulta Abilita l'esportazione dei tuoi dati di fatturazione Cloud in BigQuery.

Informazioni sulle autorizzazioni del set di dati

L'esportazione della fatturazione Cloud in BigQuery utilizza account di servizio per gestire le autorizzazioni del set di dati.

Dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, Google aggiunge automaticamente un account di servizio come proprietario al set di dati che specificare. Gli account di servizio hanno il seguente aspetto:

  • Per i set di dati dei costi di utilizzo standard e dettagliati: billing-export-bigquery@system.gserviceaccount.com
  • Per il set di dati dei prezzi: cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Gli account di servizio sono di proprietà di e gestiti da Google e forniscono i autorizzazioni necessarie al nostro processo offline per creare una tabella e scrivere i record di fatturazione Cloud.

Vedi le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Tabelle di dati di fatturazione

Poco dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, vengono create automaticamente in BigQuery del set di dati. Per saperne di più su queste tabelle BigQuery per gli schemi delle tabelle, consulta Informazioni sulle tabelle di dati create automaticamente in BigQuery.

Frequenza di caricamento dei dati

  • Quando abiliti per la prima volta l'esportazione del costo di utilizzo standard o del costo di utilizzo dettagliato in BigQuery, potrebbero essere necessarie alcune ore prima che I dati di costo di Google Cloud si propagano a BigQuery del set di dati. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurate per includere i dati retroattivamente per il mese corrente e quello precedente, potrebbero essere necessari fino a 5 giorni prima che i dati esportati dati sull'utilizzo attuale.
  • Quando abiliti per la prima volta l'esportazione dei pricing in BigQuery, potrebbero essere necessarie fino a 48 ore per iniziare a visualizzare i prezzi di Google Cloud e i dati di Google Cloud.

Scopri di più sulla frequenza di caricamento dei dati in Tabelle BigQuery.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta ai le seguenti limitazioni.

  • Località del set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud

    Set di dati BigQuery sono configurati in modo da utilizzare location: una una località in più regioni (UE o Stati Uniti) o una località in regioni. La la posizione del set di dati è impostata al momento della creazione. Dopo aver creato un set di dati, la sua la località non può essere modificata.

    L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o USA), ma solo un sottoinsieme di località in regioni. Quando configurando le impostazioni di esportazione della fatturazione Cloud, un set di dati configurato per utilizzare una località in una regione non supportata, Quando tenti di salvare le impostazioni di esportazione, verrà visualizzato un Errore Regione del set di dati non valida.

    Nella tabella seguente sono elencate le località multiregionali e le località in regione supportati per l'uso con i set di dati BigQuery e vengono utilizzati per contenere i dati di fatturazione Cloud.

    Americhe Asia Pacifico Europa

    Più regioni: Stati Uniti

    Regioni:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (San Paolo)
    • us-central1 (Iowa)
    • us-east1 (Carolina del Sud)
    • us-east4 (Virginia del Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regioni:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapore)
    • asia-southeast2 (Giacarta)
    • australia-southeast1 (Sydney)

    Più regioni: UE

    Regioni:

    • europe-central2 (Varsavia)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgio)
    • europe-west2 (Londra)
    • europe-west3 (Francoforte)
    • europe-west4 (Paesi Bassi)
    • europe-west6 (Zurigo)

  • Per i tuoi set di dati BigQuery contenenti i dati di costo per l'utilizzo standard o i dati sul costo di utilizzo dettagliati, il tipo di località configurata sul set di dati influisce sulle tempistiche di quando i dati di fatturazione di Google Cloud vengono esportati nel set di dati:

    • Se configuri il set di dati per utilizzare una località multiregionale (UE o USA), il set di dati include i dati di fatturazione Google Cloud dall'inizio del mese precedente da quando hai abilitato per la prima volta l'esportazione, a meno che non la riattivi. Vale a dire che I dati di fatturazione di Google Cloud vengono aggiunti in modo retroattivo per l'attuale periodo e il mese precedente. Per il backfill iniziale dei dati esportati, potrebbe possono essere necessari fino a 5 giorni per il completamento dei dati di fatturazione Cloud retroattivi prima di iniziare a vedere i dati sull'utilizzo attuale.

    • Se il set di dati è configurato in modo da utilizzare un modello la località di region, solo i dati di costo per l'utilizzo standard e i dati sul costo di utilizzo dettagliati riflettono i dati di fatturazione di Google Cloud derivanti da questa data hai abilitato l'esportazione della fatturazione Cloud e in seguito. Vale a dire che I dati di fatturazione di Google Cloud non vengono aggiunti in modo retroattivo per località di set di dati non multiregionali, quindi non vedrai la fatturazione Cloud i dati precedenti all'abilitazione dell'esportazione.

    • Per ulteriori dettagli, vedi Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti i dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud derivanti da la data in cui hai configurato l'esportazione della fatturazione Cloud e successiva. Vale a dire che I dati sui prezzi di Google Cloud non vengono aggiunti in modo retroattivo, quindi non Visualizzare i dati sui prezzi di fatturazione Cloud prima di abilitare l'esportazione. Per ulteriori dettagli, vedi Disponibilità dei dati.

  • Quando esporti i dati dettagliati dei costi di utilizzo, l'esportazione dettagliata include automaticamente le informazioni a livello di risorsa su Compute Engine. Per visualizzare un'analisi dettagliata dei costi dei cluster Google Kubernetes Engine (GKE) in un un'esportazione dettagliata dei dati, devi anche abilitare l'allocazione dei costi per GKE.

  • Crittografia del set di dati: Chiavi di crittografia gestite dal cliente (CMEK) non sono supportate durante l'esportazione dei dati di fatturazione in in BigQuery. Se attivi la crittografia CMEK per le tue impostazioni di data, questo tipo di crittografia impedisce alla fatturazione Cloud e scrivere i dati di fatturazione nelle tabelle appropriate all'interno del set di dati. Invece, devi attivare il set di dati per utilizzare una chiave di proprietà di Google e gestita da Google.

  • Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella che contiene i dati esportati, devi fornire all'esportazione della fatturazione Cloud accesso completo alla tabella per l'account di servizio billing-export-bigquery@system.gserviceaccount.com utilizzando il filtro TRUE di BigQuery. Il comando seguente concede l'accesso all'account di servizio fatturazione Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • Tag a livello di risorsa la propagazione può richiedere fino a un'ora esportazioni BigQuery. Se un tag è stato aggiunto o rimosso entro un'ora oppure, se una risorsa è presente da meno di un'ora, non appariranno nell'esportazione.

    I tag a livello di risorsa sono disponibili per le seguenti risorse:

    • Istanze di Compute Engine
    • Istanze Spanner
    • Servizi Cloud Run
    • Repository Artifact Registry

  • Se utilizzi Controlli di servizio VPC, potrebbero essere bloccate le esportazioni di BigQuery. Per risolvere il problema, ed escludere manualmente il VPC.

Report su costi e prezzi disponibili nella console Google Cloud

Indietro
Panoramica dell'esportazione dei dati di fatturazione in BigQuery
Avanti
Informazioni sulle tabelle di dati di fatturazione in BigQuery