Exporter des données Cloud Billing vers BigQuery

L'exportation Cloud Billing vers BigQuery vous permet d'exporter automatiquement des données de facturation Google Cloud détaillées (telles que des données d'utilisation, d'estimation de coûts et de tarification) tout au long de la journée vers un ensemble de données BigQuery que vous spécifiez. Vous pouvez ensuite accéder à vos données Cloud Billing depuis BigQuery pour une analyse détaillée, ou les visualiser en passant par un outil tel que Looker Studio. Cette fonctionnalité vous permet aussi d'exporter des données vers un fichier JSON.

Il est important d'activer l'exportation au bon moment. Pour accéder à un ensemble plus complet de données de facturation Google Cloud pour vos besoins d'analyse, nous vous recommandons d'activer l'exportation de données Cloud Billing vers BigQuery et de créer un compte Cloud Billing en même temps.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Étapes suivantes

La gestion des coûts et la création de rapports efficaces constituent un élément essentiel de la gestion financière, que vous gériez les activités d'une entreprise de plusieurs milliards de dollars ou un modeste budget familial. Pour prendre des décisions basées sur les données concernant vos coûts et votre utilisation de Google Cloud, vous devez commencer par collecter les données dont vous avez besoin.

Reportez-vous aux guides de cette section pour en savoir plus sur les tâches suivantes :

Configurer l'exportation des données Cloud Billing vers BigQuery

Pour commencer à collecter vos données Cloud Billing, vous devez activer l'exportation des données Cloud Billing vers BigQuery.

Le guide de configuration fournit des recommandations de bonnes pratiques et des instructions détaillées pour activer l'exportation des données Cloud Billing vers BigQuery. Vous pouvez activer les types de données Cloud Billing suivants pour l'exportation :

  • Données de coût d'utilisation standard : contiennent des informations d'ordre général concernant l'utilisation et les coûts liés au compte de facturation Cloud, telles que l'ID du compte, la date de facturation, les services, les SKU, les projets, les libellés, les emplacements, le coût, l'utilisation, les crédits, les ajustements et la devise.

    Utilisez l'exportation de l'utilisation standard pour analyser les tendances générales dans vos données de coût.

  • Données de coût d'utilisation détaillé : contiennent des informations détaillées concernant l'utilisation et les coûts liés au compte de facturation Cloud. Elles incluent toutes les données présentes dans les données de coût d'utilisation standard, plus les données de coût au niveau des ressources, comme les machines virtuelles ou les disques SSD qui génèrent une utilisation du service.

    Utilisez l'exportation détaillée pour analyser les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts supplémentaires. L'exportation détaillée inclut des informations au niveau des ressources pour les produits suivants :

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • Cloud Functions
    • Cloud Run

    Pour afficher les informations concernant GKE, activez la répartition des coûts dans les exportations détaillées.

    Consultez le schéma des données de coût d'utilisation détaillé pour obtenir d'autres recommandations et limites.

  • (Revendeurs uniquement) Exportation des données de refacturation : contient des informations détaillées sur l'utilisation et les coûts de votre compte de facturation Cloud pour tous vos comptes de facturation revendeur annotés avec des attributs spécifiques au partenaire.

    Utilisez l'exportation des données de refacturation pour gérer les opérations de facturation pour vos clients Google Cloud. Découvrez les Configurations des nouveaux tarifs qui vous permettent de générer des coûts pour le client final.

  • Données de tarification : contiennent des informations sur les tarifs du compte de facturation Cloud, telles que l'ID de compte, les services, les SKU, les produits, les métadonnées géographiques, les unités tarifaires, la devise, l'agrégation et les niveaux.

    Vous pouvez également obtenir les données de tarification de votre compte Cloud Billing de différentes manières :

L'utilisation de BigQuery pour stocker et interroger des données Cloud Billing entraîne un minimum de frais. Pour en savoir plus, consultez la section Coût d'utilisation.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Comprendre les tables de données Cloud Billing

Une fois que vous avez activé l'exportation Cloud Billing vers BigQuery, les tables de données Cloud Billing sont automatiquement créées dans l'ensemble de données BigQuery

Pour comprendre le schéma de données de votre contenu exporté, consultez les informations de référence sur le contenu des données Cloud Billing exportées vers chaque table de l'ensemble de données BigQuery.

Rechercher des exemples de requêtes associées à l'exportation de données Cloud Billing

Pour obtenir des conseils et des instructions sur l'utilisation de SQL pour exécuter des requêtes sur vos données Cloud Billing, consultez les exemples de requêtes.

La page des exemples de requêtes présente plusieurs exemples SQL, y compris les exemples suivants :

Coût d'utilisation

L'utilisation de BigQuery pour stocker les données d'utilisation entraîne généralement un minimum de frais.

  • Le chargement de données dans l'ensemble de données désigné est gratuit. Cette action exploite le pool de ressources partagées de BigQuery pour charger des données par lots.
  • Lors de l'exportation et de l'analyse des données Cloud Billing à l'aide de BigQuery, le coût associé dépend de la quantité de données que vous diffusez, stockez et interrogez.
  • De nombreuses opérations de table partitionnée sont gratuites, en particulier le chargement de données dans des partitions, la copie de partitions et l'exportation de données à partir de partitions. Bien que gratuites, ces opérations sont soumises aux quotas et limites propres à BigQuery.

En général, l'interrogation de l'exportation détaillée des coûts peut coûter plus cher que l'interrogation de l'exportation standard. Pour optimiser vos coûts, nous vous recommandons d'utiliser l'exportation standard pour analyser les tendances de vos coûts, et d'utiliser l'exportation détaillée pour suivre les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts.

Pour vous faire une idée des frais encourus, consultez la page Estimer les coûts liés à l'espace de stockage et aux requêtes.

Pour en savoir plus sur les bonnes pratiques d'optimisation des coûts dans BigQuery, consultez la page Contrôler les coûts dans BigQuery.

Pour connaître les tarifs, consultez la grille tarifaire BigQuery.

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Emplacements des ensembles de données BigQuery compatibles avec les données Cloud Billing

    Les ensembles de données BigQuery sont configurés pour utiliser un emplacement, c'est-à-dire un emplacement multirégional (UE ou États-Unis) ou un emplacement régional. L'emplacement de l'ensemble de données est défini au moment de la création. Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié.

    L'exportation des données Cloud Billing accepte tous les emplacements multirégionaux (UE ou États-Unis), mais uniquement un sous-ensemble des emplacements régionaux. Lorsque vous configurez vos paramètres d'exportation Cloud Billing, si vous créez ou sélectionnez un ensemble de données configuré pour utiliser un emplacement non compatible régional, lorsque vous tentez d'enregistrer vos paramètres d'exportation, un message d'erreur Région de l'ensemble de données non valide.

    Le tableau suivant répertorie les emplacements multirégionaux et les emplacements régionaux compatibles avec les ensembles de données BigQuery utilisés pour contenir les données Cloud Billing.

    Amériques Asie-Pacifique Europe

    Multirégional : États-Unis

    Régions :

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (Caroline du Sud)
    • us-east4 (Virginie du Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Régions :

    • asia-east1 (Taïwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Séoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapour)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multirégional : UE

    Régions :

    • europe-central2 (Varsovie)
    • europe-north1 (Finlande)
    • europe-west1 (Belgique)
    • europe-west2 (Londres)
    • europe-west3 (Francfort)
    • europe-west4 (Pays-Bas)
    • europe-west6 (Zurich)

  • Pour vos ensembles de données BigQuery contenant les données de coût d'utilisation standard ou les données de coût d'utilisation détaillé, le type d'emplacement que vous configurez sur l'ensemble de données a une incidence sur la durée d'exportation de vos données de facturation Google Cloud :

    • Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional (UE ou États-Unis), celui-ci reflète les données de facturation Google Cloud générées depuis le début du mois précédent à compter de la première activation de l'exportation, sauf si vous la réactivez. Autrement dit, les données de facturation Google Cloud sont ajoutées rétroactivement pour le mois en cours et le mois précédent. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que puissiez commencer à voir vos données d'utilisation actuelles.

    • Si votre ensemble de données est configuré pour utiliser un emplacement régional compatible, vos données de coût d'utilisation standard et vos données de coût d'utilisation détaillées ne reflètent que les données de facturation Google Cloud générées à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, les données de facturation Cloud Billing ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux, vous ne verrez donc pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour en savoir plus, consultez la section Disponibilité des données.

  • Vos ensembles de données BigQuery contenant les données de tarification ne collectent que les données de facturation Google Cloud générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, les données de tarification Google Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données de tarification Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.

  • Lorsque vous exportez des données de coût d'utilisation détaillées, l'exportation détaillée inclut automatiquement des informations au niveau des ressources concernant Compute Engine. Pour afficher la répartition des coûts de cluster Google Kubernetes Engine (GKE) dans une exportation de données détaillée, vous devez également activer l'allocation des coûts pour GKE.

  • Chiffrement des ensembles de données : les clés de chiffrement gérées par le client (CMEK) ne sont pas compatibles lors de l'exportation de données de facturation vers BigQuery. Si vous activez le chiffrement CMEK pour votre ensemble de données de facturation, ce type de chiffrement empêche Cloud Billing d'écrire des données de facturation dans les tables appropriées de cet ensemble de données. Au lieu de cela, vous devez activer l'ensemble de données pour utiliser une clé appartenant à Google et gérée par Google.

  • Si vous souhaitez utiliser la sécurité au niveau des lignes de BigQuery sur la table contenant vos données exportées, vous devez accorder au compte de service d'exportation Cloud Billing billing-export-bigquery@system.gserviceaccount.com un accès complet à la table à l'aide du filtre BigQuery TRUE. La commande suivante accorde l'accès au compte de service Cloud Billing :

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • La propagation des tags au niveau des ressources vers les exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé il y a une heure, ou si une ressource existe depuis moins d'une heure, il est possible qu'elle n'apparaisse pas dans l'exportation.

    Les tags au niveau des ressources sont disponibles pour les ressources suivantes :

    • Instances Compute Engine
    • Instances Spanner
    • Services Cloud Run
    • Dépôts Artifact Registry

  • Si vous utilisez VPC Service Controls, vos exportations BigQuery risquent d'être bloquées. Pour résoudre ce problème, vous devez exclure manuellement le VPC.

Suivant
Configurer l'exportation des données de facturation vers BigQuery