Cloud Billing-Datentabellen in BigQuery

Dieses Dokument enthält Referenzinformationen zum Schema der Cloud Billing-Daten, die in jede Tabelle in BigQuery exportiert werden.

Abrechnungsdatentabellen

Kurz nach dem Aktivieren des Cloud Billing-Exports an BigQuery werden Abrechnungsdatentabellen automatisch im BigQuery-Dataset erstellt.

  • Tabelle mit Standardnutzungskosten: In Ihrem BigQuery-Dataset heißt diese Tabelle gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Detaillierte Nutzungskostentabelle: Sie enthält alle Datenfelder aus der Standardtabelle für Nutzungskosten sowie zusätzliche Felder, die Kostendaten auf Ressourcenebene liefern, wie z. B. virtuelle Maschinen oder SSDs, die Service Usage generieren. In Ihrem BigQuery-Dataset heißt diese Tabelle gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Preisdatentabelle: Diese Tabelle heißt in Ihrem BigQuery-Dataset cloud_pricing_export.

Häufigkeit der Datenladevorgänge

Export von Standard- und detaillierten Nutzungskosten

  • Wenn Sie zum ersten Mal den Export der Standardnutzungskosten oder detaillierten Nutzungskosten nach BigQuery aktivieren, kann es einige Stunden dauern, bis die Google Cloud-Kostendaten an Ihr BigQuery-Dataset weitergegeben werden. Daten werden in chronologischer Reihenfolge exportiert. Wenn Ihr Export so konfiguriert ist, dass Daten für den aktuellen und den Vormonat rückwirkend enthalten sind, kann es bis zu fünf Tage dauern, bis die exportierten Daten vollständig auf dem aktuellen Stand sind.
  • Google Cloud-Dienste melden Nutzungs- und Kostendaten in unterschiedlichen Intervallen an Cloud Billing-Vorgänge.
  • Cloud Billing exportiert Nutzungs- und Kostendaten in regelmäßigen Abständen an Ihr BigQuery-Dataset. Es gibt keine Zustellungs- oder Latenzgarantien für den Export in BigQuery.
  • Da die Häufigkeit der Nutzungsberichte je nach Google Cloud-Dienst variiert, werden möglicherweise nicht sofort die Nutzungs- und Kostendaten für Cloud Billing für alle kürzlich verwendeten Google Cloud-Dienste angezeigt.

Preisexport

  • Wenn Sie den Preisexport nach BigQuery zum ersten Mal aktivieren, kann es bis zu 48 Stunden dauern, bis Ihre Google Cloud-Preisdaten angezeigt werden.
  • Nachdem Sie den Preisexport aktiviert haben, werden die für Ihr Cloud-Rechnungskonto relevanten Preisdaten einmal pro Tag nach BigQuery exportiert.

Datenverfügbarkeit

  • Für Kunden, die den Export der standardmäßigen oder detaillierten Nutzungskosten zum ersten Mal aktivieren:

    • Wenn Sie Ihr BigQuery-Dataset für die Verwendung eines multiregionalen Standorts konfigurieren, werden Cloud Billing-Daten ab dem Beginn des Vormonats rückwirkend exportiert. Wenn Sie beispielsweise den Datenexport für standardmäßige Nutzungskosten oder detaillierte Nutzungskosten am 23. September aktivieren, enthält der Export Daten ab dem 1. August.

      Daten werden jeweils in chronologischer Reihenfolge exportiert, sodass zuerst die Daten des ersten Tages des letzten Monats ausgefüllt werden. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.

    • Wenn Sie Ihr BigQuery-Dataset so konfigurieren, dass ein unterstützter regionaler Standort verwendet wird, sind Ihre Daten der standardmäßigen Nutzungskosten oder detaillierten Nutzungskosten ab dem Datum verfügbar, an dem Sie den Export von Cloud Billing aktivieren, und danach. Das heißt, Google Cloud-Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Für Kunden, die den Export von Daten der standardmäßigen Nutzungskosten oder detaillierten Nutzungskosten aktiviert, deaktiviert und anschließend wieder aktiviert haben, sind die Cloud Billing-Daten für den Zeitraum, in dem der Export explizit deaktiviert wurde, möglicherweise nicht verfügbar.

  • Wenn Sie den Export der Preisdaten aktivieren, enthält Ihr BigQuery-Dataset nur Cloud Billing-Daten ab dem Datum, an dem Sie den Preisexport erstmals aktiviert haben. Cloud Billing-Preisdaten werden nicht rückwirkend hinzugefügt. Es werden also keine Preisdaten für Datumsangaben angezeigt, die vor der Aktivierung des Exports aufgetreten sind.

  • Die Daten in den BigQuery-Datasets geben den Status Ihrer Ressourcen zum Zeitpunkt der Aufzeichnung der Nutzung wieder. Wenn Sie Änderungen an Ihren Ressourcen vornehmen, z. B. wenn Sie einem Projekt neue Labels hinzufügen oder die Hierarchie eines Projekts ändern (dies würde project.ancestors ändern), werden diese Änderungen nur in zukünftigen Exporten von Nutzungsdaten angezeigt. Zuvor exportierte Datensätze werden nicht geändert.

  • Wenn Sie exportierte Daten löschen, z. B. BigQuery-Exportdatensätze, können wir für die gelöschten Datensätze kein Backfill ausführen.

  • BigQuery-Ladevorgänge sind ACID-kompatibel. Wenn Sie also das BigQuery-Dataset für den Cloud Billing-Export abfragen, während Daten geladen werden, werden keine nur teilweise geladenen Daten angezeigt.

  • Weitere Einschränkungen, die sich auf den Export von Abrechnungsdaten in BigQuery auswirken können, z. B. Datasets mit aktivierten vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK).

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

  • Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte

    BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden: entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Speicherort nicht mehr geändert werden.

    Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.

    In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

    Nord- und Südamerika Asiatisch-pazifischer Raum Europa

    Multiregional: USA

    Regionen:

    • northamerica-northeast1 (Montreal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (South Carolina)
    • us-east4 (Northern Virginia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regionen:

    • asia-east1 (Taiwan)
    • asia-east2 (Hongkong)
    • asia-northeast1 (Tokio)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapur)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multiregional: EU

    Regionen:

    • europe-central2 (Warschau)
    • europe-north1 (Finnland)
    • europe-west1 (Belgien)
    • europe-west2 (London)
    • europe-west3 (Frankfurt)
    • europe-west4 (Niederlande)
    • europe-west6 (Zürich)

  • Für Ihre BigQuery-Datasets, die standardmäßige Nutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud-Rechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU or US) konfigurieren, enthält das Dataset die Google Cloud-Abrechnungsdaten, die ab dem Beginn der vorherigen Monats angefallen sind; ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud-Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die aktuellen Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre standardmäßigen Nutzungskostendaten und ihre detaillierten Nutzungskostendaten nur die Google Cloud-Abrechnungsdaten wider, die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud-Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets, die Preisdaten enthalten, erfassen nur Google Cloud-Abrechnungsdaten, die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Google Cloud-Preisdaten werden aber nicht rückwirkend hinzugefügt, sodass Sie keine vor dem Export erstellten Cloud Billing-Preisdaten sehen. Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Beim Exportieren von detaillierten Nutzungskostendaten enthält der detaillierte Export automatisch Informationen zu Compute Engine auf Ressourcenebene. Wenn Sie sich eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

  • Dataset-Verschlüsselung: Beim Exportieren von Abrechnungsdaten nach BigQuery werden vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK) nicht unterstützt. Wenn Sie die CMEK-Verschlüsselung für Ihr Dataset mit Abrechnungsdaten aktivieren, verhindert diese Art der Verschlüsselung, dass Cloud Billing Abrechnungsdaten in die entsprechenden Tabellen innerhalb dieses Datasets schreibt. Stattdessen müssen Sie das Dataset aktivieren, um einen zu Google gehörenden und von Google verwalteten Schlüssel zu verwenden.

  • Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@system.gserviceaccount.com vollständigen Zugriff auf die Tabelle gewähren und dabei den BigQuery-TRUE-Filter verwenden. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • Es kann bis zu einer Stunde dauern, bis Tags auf Ressourcenebene in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.

    Tags auf Ressourcenebene sind für die folgenden Ressourcen verfügbar:

    • Compute Engine-Instanzen
    • Cloud Spanner-Instanzen
    • Cloud Run-Dienste
    • Artifact Registry-Repositories

  • Wenn Sie VPC Service Controls verwenden, werden Ihre BigQuery-Exporte möglicherweise blockiert. Um das Problem zu beheben, müssen Sie eine VPC manuell ausschließen.

Kosten- und Preisberichte in der Google Cloud Console

Zurück
Export von Abrechnungsdaten in BigQuery einrichten
Weiter
Struktur des Standarddatenexports