Comprendre les tables de données Cloud Billing dans BigQuery

Ce document fournit des informations de référence pour le schéma des données Cloud Billing exportées vers chaque table dans BigQuery.

Tables de données de facturation

Peu de temps après l'activation de l'exportation Cloud Billing vers BigQuery, les tables de données de facturation sont automatiquement créées dans l'ensemble de données BigQuery.

  • Table de coût d'utilisation standard : dans votre ensemble de données BigQuery, cette table est nommée gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Table de coût d'utilisation détaillé : inclut tous les champs de données présentes dans la table de coût d'utilisation standard, ainsi que des champs supplémentaires qui fournissent des données de coût au niveau des ressources, comme une machine virtuelle ou un disque SSD qui génère une utilisation du service. Dans votre ensemble de données BigQuery, cette table est nommée gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Grille tarifaire : dans votre ensemble de données BigQuery, cette table est nommée cloud_pricing_export.

Fréquence des chargements de données

Exportation des coûts d'utilisation standards et détaillés

  • Lorsque vous activez l'exportation du coût d'utilisation standard ou détaillé vers BigQuery pour la première fois, la propagation des données de coût Google Cloud dans votre ensemble de données BigQuery peut prendre quelques heures. Les données sont exportées dans l'ordre chronologique. Si votre exportation est configurée pour inclure les données de manière rétroactive pour le mois en cours et le mois précédent, la récupération des données d'utilisation actuelles peut prendre jusqu'à cinq jours.
  • Les services Google Cloud transmettent les données d'utilisation et de coût aux processus de facturation Cloud Billing à des intervalles variables.
  • Cloud Billing exporte les données d'utilisation et de coût vers votre ensemble de données BigQuery à intervalles réguliers (il n'existe aucune garantie de diffusion ou de latence pour l'exportation vers BigQuery).
  • Étant donné que la fréquence des rapports d'utilisation varie selon le service Google Cloud, il est possible que vous ne voyiez pas immédiatement les données d'utilisation et de coût de Cloud Billing pour tous les services Google Cloud récemment utilisés.

Exportation des tarifs

  • Lorsque vous activez l'exportation des tarifs vers BigQuery pour la première fois, l'affichage des données de tarification Google Cloud peut prendre jusqu'à 48 heures.
  • Une fois l'exportation des tarifs activée, les données de tarification applicables à votre compte de facturation Cloud sont exportées quotidiennement vers BigQuery.

Disponibilité des données

  • Pour les clients qui activent l'exportation des données de coût d'utilisation standard ou détaillé pour la première fois:

    • Si vous configurez votre ensemble de données BigQuery pour utiliser un emplacement multirégional (UE ou États-Unis), les données Cloud Billing sont exportées rétroactivement à partir du début du mois précédent. Par exemple, si vous activez l'exportation des données des coûts d'utilisation standards ou détaillés le 23 septembre, votre exportation inclura les données à compter du 1er août.

      Les données sont exportées dans l'ordre chronologique, jour par jour. Les données du premier jour du mois précédent sont donc renseignées en premier. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant de commencer à afficher vos données d'utilisation les plus récentes.

    • Si vous configurez vos ensembles de données BigQuery pour utiliser un emplacement régional, les données sur votre coût d'utilisation standard ou votre coût d'utilisation détaillé sont disponibles à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, les _données de facturation Google Cloud ne sont pas ajoutées rétroactivement_ pour les emplacements d'ensembles de données non multirégionaux. Par conséquent, vous ne verrez pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour les clients ayant activé, désactivé, puis réactivé l'exportation des données de coût d'utilisation standard ou de coût d'utilisation détaillé, il est possible que les données Cloud Billing ne soient pas disponibles pour la période pendant laquelle l'exportation de données a été explicitement désactivée.

  • Si vous activez l'exportation des données de tarification, votre ensemble de données BigQuery ne va refléter que les données Cloud Billing générées à compter de la date à laquelle vous avez activé l'exportation des tarifs. Les données tarifaires de Cloud Billing ne sont pas ajoutées rétroactivement. Par conséquent, les données de tarification ne s'affichent pas avant les dates antérieures à l'activation de l'exportation.

  • Les données des ensembles de données BigQuery reflètent l'état de vos ressources au moment où l'utilisation a été enregistrée. Si vous apportez des modifications à vos ressources, telles que l'ajout de libellés à un projet ou la modification de la hiérarchie d'un projet (qui modifierait project.ancestors), ces modifications ne s'affichent que dans les exportations futures des données d'utilisation. Les enregistrements exportés précédemment ne sont pas modifiés.

  • Si vous supprimez des données exportées, telles que des enregistrements d'exportation BigQuery, nous ne pouvons pas les remplacer.

  • Notez que les tâches de chargement BigQuery sont conformes aux normes ACID et que les données ne seront donc que partiellement chargées si vous envoyez une requête à l'ensemble de données d'exportation BigQuery Cloud Billing pendant que des données sont en train d'y être chargées.

  • Consultez les autres limites susceptibles de compromettre l'exportation de vos données de facturation vers BigQuery, telles que les ensembles de données avec des clés de chiffrement gérées par le client (CMEK).

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Emplacements des ensembles de données BigQuery compatibles avec les données Cloud Billing

    Les ensembles de données BigQuery sont configurés pour utiliser un emplacement, c'est-à-dire un emplacement multirégional (UE ou États-Unis) ou un emplacement régional. L'emplacement de l'ensemble de données est défini au moment de la création. Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié.

    L'exportation des données Cloud Billing accepte tous les emplacements multirégionaux (UE ou États-Unis), mais uniquement un sous-ensemble des emplacements régionaux. Lorsque vous configurez vos paramètres d'exportation Cloud Billing, si vous créez ou sélectionnez un ensemble de données configuré pour utiliser un emplacement régional non compatible, lorsque vous tentez d'enregistrer vos paramètres d'exportation, un message d'erreur Région de l'ensemble de données non valide s'affiche.

    Le tableau suivant répertorie les emplacements multirégionaux et les emplacements régionaux compatibles avec les ensembles de données BigQuery contenant des données Cloud Billing.

    Amériques Asie-Pacifique Europe

    Multirégional : États-Unis

    Régions :

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (Caroline du Sud)
    • us-east4 (Virginie du Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Régions :

    • asia-east1 (Taïwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Séoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapour)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multirégional : UE

    Régions :

    • europe-central2 (Varsovie)
    • europe-north1 (Finlande)
    • europe-west1 (Belgique)
    • europe-west2 (Londres)
    • europe-west3 (Francfort)
    • europe-west4 (Pays-Bas)
    • europe-west6 (Zurich)

  • Pour vos ensembles de données BigQuery contenant les données de coût d'utilisation standard ou les données de coût d'utilisation détaillé, le type d'emplacement que vous configurez sur l'ensemble de données a une incidence sur la durée d'exportation de vos données de facturation Google Cloud :

    • Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional (UE ou États-Unis), celui-ci reflète les données de facturation Google Cloud générées depuis le début du mois précédent à compter de la première activation de l'exportation, sauf si vous la réactivez. Autrement dit, les données de facturation Google Cloud sont ajoutées rétroactivement pour le mois en cours et le mois précédent. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que puissiez commencer à voir vos données d'utilisation actuelles.

    • Si votre ensemble de données est configuré pour utiliser un emplacement régional compatible, vos données de coût d'utilisation standard et vos données de coût d'utilisation détaillées ne reflètent que les données de facturation Google Cloud générées à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, les données de facturation Cloud Billing ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux, vous ne verrez donc pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour en savoir plus, consultez la section Disponibilité des données.

  • Vos ensembles de données BigQuery contenant les données de tarification ne collectent que les données de facturation Google Cloud générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, les données de tarification Google Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données de tarification Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.

  • Lorsque vous exportez des données de coût d'utilisation détaillées, l'exportation détaillée inclut automatiquement des informations au niveau des ressources concernant Compute Engine. Pour afficher la répartition des coûts de cluster Google Kubernetes Engine (GKE) dans une exportation de données détaillée, vous devez également activer l'allocation des coûts pour GKE.

  • Chiffrement des ensembles de données : les clés de chiffrement gérées par le client (CMEK) ne sont pas compatibles lors de l'exportation de données de facturation vers BigQuery. Si vous activez le chiffrement CMEK pour votre ensemble de données de facturation, ce type de chiffrement empêche Cloud Billing d'écrire des données de facturation dans les tables appropriées de cet ensemble de données. Au lieu de cela, vous devez activer l'ensemble de données pour utiliser une clé appartenant à Google et gérée par Google.

  • Si vous souhaitez utiliser la sécurité au niveau des lignes de BigQuery sur la table contenant vos données exportées, vous devez accorder au compte de service d'exportation Cloud Billing billing-export-bigquery@system.gserviceaccount.com un accès complet à la table à l'aide du filtre BigQuery TRUE. La commande suivante accorde l'accès au compte de service Cloud Billing :

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • La propagation des tags au niveau des ressources vers les exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé il y a une heure, ou si une ressource existe depuis moins d'une heure, il est possible qu'elle n'apparaisse pas dans l'exportation.

    Les tags au niveau des ressources sont disponibles pour les ressources suivantes :

    • Instances Compute Engine
    • Instances Spanner
    • Services Cloud Run
    • Dépôts Artifact Registry

  • Si vous utilisez VPC Service Controls, vos exportations BigQuery risquent d'être bloquées. Pour résoudre ce problème, vous devez exempter manuellement le VPC.

Rapports sur les coûts et les tarifs disponibles dans Google Cloud Console

Précédent
Configurer l'exportation des données de facturation vers BigQuery
Suivant
Structure de l'exportation des données standard