Configurer l'exportation des données Cloud Billing vers BigQuery

Ce guide fournit toutes les étapes de configuration requises pour activer l'exportation des données Cloud Billing vers BigQuery.

Pour exporter des données Cloud Billing vers BigQuery, procédez comme suit :

  • Créer un projet dans lequel les données Cloud Billing seront stockées, et activer la facturation sur le projet (si ce n'est pas déjà fait)
  • Configurer les autorisations sur le projet et sur le compte de facturation Cloud
  • Activer l'API du service de transfert de données BigQuery (obligatoire pour exporter vos données de tarification)
  • Créer un ensemble de données BigQuery dans lequel stocker les données.
  • Activer l'exportation Cloud Billing des données de coût et des données de tarification à écrire dans l'ensemble de données

Ce document vous explique en détail chacune de ces étapes.

À propos de Cloud Console

Google Cloud Console (Accéder à la documentation, Ouvrir la console) est une interface utilisateur Web permettant de provisionner, configurer, gérer et surveiller les systèmes utilisant des produits Google Cloud. Vous utilisez Cloud Console pour configurer et gérer les ressources Google Cloud et Cloud Billing.

Autorisations requises pour cette tâche

Pour activer et configurer l'exportation des données sur le coût d'utilisation de Google Cloud Billing vers un ensemble de données BigQuery, vous devez disposer des autorisations suivantes :

  • Pour Cloud Billing, vous devez disposer du rôle Gestionnaire des coûts du compte de facturation ou Administrateur de compte de facturation sur le compte de facturation Cloud cible.
  • Pour BigQuery, vous devez disposer du rôle Utilisateur BigQuery pour le projet Cloud contenant l'ensemble de données BigQuery qui permettra de stocker les données Cloud Billing.

Pour activer et configurer l'exportation des données tarifaires de Cloud Billing, vous devez disposer des autorisations suivantes :

  • Pour Cloud Billing, vous avez besoin du rôle Administrateur de compte de facturation sur le compte de facturation Cloud cible.
  • Pour BigQuery, vous devez disposer du rôle Administrateur BigQuery pour le projet Cloud contenant l'ensemble de données BigQuery qui permettra de stocker les données tarifaires de Cloud Billing.
  • Pour le projet Cloud contenant l'ensemble de données cible, vous avez besoin de l'autorisation resourcemanager.projects.update. Cette autorisation est incluse dans le rôle roles/editor.

Vous devrez peut-être également disposer d'autres autorisations de projet. Si vous êtes membre d'une organisation Google Cloud, pour créer un projet, vous devez disposer du rôle Créateur de projet dans l'organisation ou le dossier. Plus précisément, pour créer un projet, vous devez disposer des autorisations suivantes :

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Pour plus d'informations sur les autorisations Google Cloud, consultez les articles suivants :

Activer l'exportation des données Cloud Billing vers BigQuery

Suivez les étapes décrites dans cette section pour activer l'exportation de vos données Cloud Billing vers BigQuery.

Si vous êtes revendeur, vous pouvez configurer une exportation de vos données propre à un revendeur à l'aide de Partner Console. Pour ce faire, suivez les étapes 1 à 4 de cette page, puis consultez la section Exporter les données Cloud Billing vers BigQuery pour activer l'exportation.

1. Sélectionner ou créer un projet

Les données Cloud Billing exportées vers BigQuery sont contenues dans un ensemble de données BigQuery. Un ensemble de données est contenu dans un projet Cloud que vous spécifiez.

Recommandation concernant les projets : Nous vous recommandons de créer un projet Cloud pour contenir toutes vos données d'administration de la facturation, y compris vos données Cloud Billing. Vous pouvez également utiliser ce projet Cloud d'administration de la facturation pour des éléments tels que l'accès aux API Cloud Billing, les canaux Pub/Sub pour les notifications de budget automatisées et d'autres tâches d'administration Cloud Billing.

Important : Le projet Cloud que vous sélectionnez pour contenir votre ensemble de données doit être associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery. Un projet Cloud est associé à un seul compte de facturation Cloud à la fois. Un compte de facturation Cloud est associé à un ou plusieurs projets.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Découvrez comment créer et gérer des projets.

2. Vérifier que la facturation est activée

Vous devez vous assurer que la facturation est activée sur le projet Cloud que vous sélectionnez pour contenir votre ensemble de données, et que ce projet Cloud est associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery.

3. Activer l'API du service de transfert de données BigQuery

Si vous envisagez d'exporter vos données de tarification Cloud Billing vers BigQuery, vous devez activer l'API du service de transfert de données BigQuery. Si vous ne prévoyez pas d'exporter de données de tarification Cloud Billing, vous pouvez passer à l'étape 4. Créez un ensemble de données BigQuery.

L'API du service de transfert de données BigQuery doit être activée dans le projet Cloud qui contient vos ensembles de données BigQuery. Si vous avez suivi la recommandation dans la section Sélectionner ou créer un projet, il s'agit de votre projet d'administration de la facturation Google Cloud.

Pour activer l'API du service de transfert de données BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console et accédez à la page BigQuery.

    Accéder à la page de l'API du service de transfert de données BigQuery

  2. En haut à gauche de la page, sélectionnez un projet. Vous devez activer l'API du service de transfert de données BigQuery dans le projet quei contient votre ensemble de données BigQuery. Si vous avez suivi la recommandation dans la section Sélectionner ou créer un projet, il s'agit de votre projet d'administration de la facturation Google Cloud.

  3. Sur la page de l'API BigQuery Data Transfer Service, cliquez sur Activer pour activer l'API dans le projet sélectionné.

Pour en savoir plus sur l'activation des API, consultez la documentation concernant Service Usage.

4. Créer un ensemble de données BigQuery

Avant d'activer l'exportation de vos données Cloud Billing vers BigQuery, vous devez créer au moins un ensemble de données BigQuery pour gérer vos données exportées. Vous pouvez utiliser le même ensemble de données pour contenir vos données de coût d'utilisation standard, vos données de coût d'utilisation détaillé et vos données de tarification.

Un ensemble de données est contenu dans un projet Cloud que vous spécifiez. Les ensembles de données sont des conteneurs de niveau supérieur utilisés pour organiser et contrôler l'accès à vos tables et vues. Une table ou une vue doit appartenir à un ensemble de données. Vous devez donc créer au moins un ensemble de données avant de charger des données dans BigQuery.

Si vous créez un ensemble de données, nous vous recommandons de sélectionner une option multirégion pour son emplacement, telle que États-Unis (US) ou Union européenne (UE). Par exemple, les données de coût d'utilisation détaillé ne sont disponibles que dans les ensembles de données multirégionaux US et UE.

Si vous utilisez un ensemble de données existant, examinez les limites susceptibles d'avoir une incidence sur l'exportation de vos données de facturation vers BigQuery, telles que l'impossibilité d'utiliser des ensembles de données avec des clés de chiffrement gérées par le client activées, ou des données de coût d'utilisation détaillé nécessitant des ensembles de données multirégionaux.

Pour créer un ensemble de données BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console et accédez à la page BigQuery.

    Accéder à la page BigQuery

  2. Dans la liste déroulante projet ( Mon projet ) en haut de la page Google Cloud Console, sélectionnez le projet que vous avez défini pour contenir votre ensemble de données. Notez l'ID de projet, car vous en aurez besoin à l'étape suivante.

  3. Dans la section projets épinglés du panneau Explorateur, cliquez sur your-project-ID pour développer le projet de façon à afficher les ensembles de données et les requêtes enregistrés.

  4. À côté de l'ID du projet, cliquez sur le menu Afficher les actions (), puis sur Créer un ensemble de données. Le panneau "Créer un ensemble de données" s'ouvre.

    1. Saisissez l'ID de l'ensemble de données. Nous vous recommandons d'utiliser un ID qui couvre des projets, tel que all_billing_data, plutôt qu'un ID spécifique au projet.
    2. Sélectionnez l'emplacement des données. L'emplacement des données indique la région dans laquelle vos données sont stockées. Toutes les tables dans cet ensemble de données partagent cet emplacement.

      Lorsque vous créez un ensemble de données, nous vous recommandons de sélectionner une option multirégion pour son emplacement, telle que États-Unis (US) ou Union européenne (UE). Cette option est nécessaire pour l'exportation des données de coût d'utilisation détaillé.

      Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié. En savoir plus sur les emplacements.

    3. Assurez-vous que l'option Activer l'expiration de la table est supprimée.

      Si vous activez l'expiration de la table et saisissez un nombre de jours, toute table créée dans cet ensemble de données est automatiquement supprimée après le nombre de jours spécifié après sa création. Important : Si vous supprimez des tables contenant des enregistrements de données Cloud Billing exportés, ces enregistrements ont disparu et nous ne pouvons pas les remplacer.

    4. Dans la section Options avancées, assurez-vous que l'option Utiliser une clé de chiffrement gérée par le client (CMEK) est effacée.

      Le chiffrement par clé gérée par le client n'est pas compatible pour l'exportation des enregistrements de données Cloud Billing vers BigQuery.

    5. Pour enregistrer, cliquez sur Créer un ensemble de données.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Si vous êtes revendeur, vous pouvez également activer l'exportation des données Cloud Billing spécifiques au revendeur.

5. Activer l'exportation Cloud Billing vers l'ensemble de données BigQuery

Vous pouvez activer l'exportation des données Cloud Billing dans la section Cloud Billing de Cloud Console. Vous pouvez activer l'exportation des types de données suivants :

  • Données de coût d'utilisation standard : contiennent des informations d'ordre général concernant l'utilisation et les coûts liés au compte de facturation Cloud, telles que l'ID du compte, la date de facturation, les services, les SKU, les projets, les libellés, les emplacements, le coût, l'utilisation, les crédits, les ajustements et la devise.

    Utilisez l'exportation de l'utilisation standard pour analyser les tendances générales dans vos données de coût.

  • Données de coût d'utilisation détaillé : contiennent des informations détaillées concernant l'utilisation et les coûts liés au compte de facturation Cloud. Elles incluent toutes les données présentes dans les données de coût d'utilisation standard, plus les données de coût au niveau des ressources, comme les machines virtuelles ou les disques SSD qui génèrent une utilisation du service.

    Utilisez l'exportation détaillée pour analyser les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts supplémentaires.

  • Données de tarification : contiennent des informations sur les tarifs du compte de facturation Cloud, telles que l'ID de compte, les services, les SKU, les produits, les métadonnées géographiques, les unités tarifaires, la devise, l'agrégation et les niveaux.

Pour activer l'exportation de vos données de coût d'utilisation ou de tarification de Cloud Billing vers BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console.

    Se connecter à Cloud Console

  2. Ouvrez le menu de navigation de la console (), puis sélectionnez Facturation.

    Si vous possédez plusieurs comptes de facturation Cloud, effectuez l'une des opérations suivantes :

    • Pour gérer Cloud Billing pour le projet Cloud en cours, sélectionnez Accéder au compte de facturation associé.
    • Pour rechercher un autre compte de facturation, sélectionnez Gérer les comptes de facturation, puis sélectionnez le compte pour lequel vous souhaitez activer l'exportation des données Cloud Billing vers BigQuery.
  3. Dans le menu de navigation "Facturation", sélectionnez Exporter la facturation.

  4. Sélectionnez l'onglet Exportation vers BigQuery (cet onglet est sélectionné par défaut).

  5. Cliquez sur Modifier les paramètres pour le type de données que vous souhaitez exporter. Chaque type de données est configuré séparément.

  6. Dans la liste Projets, sélectionnez le projet que vous avez configuré pour contenir votre ensemble de données BigQuery.

    Le projet que vous sélectionnez sert à stocker les données Cloud Billing exportées dans l'ensemble de données BigQuery.

    Pour les exportations de données de coût d'utilisation standard et détaillé, les données Cloud Billing incluent des données d'utilisation et de coût de tous les projets Cloud payés par le même compte de facturation Cloud.

    Pour l'exportation des données de tarification, les données Cloud Billing incluent uniquement les données de tarification spécifiques au compte de facturation Cloud associé au projet d'ensemble de données sélectionné.

  7. Dans le champ ID de l'ensemble de données, sélectionnez l'ensemble de données que vous avez configuré pour contenir vos données Cloud Billing exportées.

    Pour tous les types de données Cloud Billing exportés vers BigQuery, les conditions suivantes s'appliquent :

    • L'API BigQuery est requise pour exporter des données vers BigQuery. Si l'API BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Cliquez sur Activer l'API BigQuery pour activer l'API.
    • Si le projet que vous avez sélectionné ne contient aucun ensemble de données BigQuery, vous êtes invité à en créer un. Le cas échéant, procédez comme suit pour créer un ensemble de données.
    • Si vous utilisez un ensemble de données existant, consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery, telles que l'impossibilité d'exporter les données vers des ensembles de données configurés pour utiliser le chiffrement par clés gérées par le client.

    Pour l'exportation des données de tarification, l'API de service de transfert de données BigQuery est requis pour exporter les données vers BigQuery. Si l'API de service de transfert de données BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Si nécessaire, suivez ces étapes pour activer l'API.

  8. Cliquez sur Enregistrer.

Mettre à jour les données Cloud Billing à exporter

Après avoir activé l'exportation de vos données Cloud Billing vers BigQuery, vous pouvez modifier la sélection des données exportées en désactivant ou en activant les différents types.

Avant de désactiver l'exportation de vos données, consultez les limites et les consignes de disponibilité des données pour mesurer l'impact que cela pourrait avoir sur vos données de facturation exportées vers BigQuery.

Pour désactiver un type de facturation Cloud exporté vers BigQuery, procédez comme suit :

  1. Sélectionnez Désactiver l'exportation standard, Désactiver l'exportation détaillée ou Désactiver l'exportation de la tarification en conséquence.
  2. Sélectionnez Confirmer pour enregistrer votre sélection.

Pour activer un type de facturation Cloud actuellement désactivé alors que l'exportation vers BigQuery est en cours, consultez la section Activer l'exportation des données Cloud Billing vers BigQuery.

À propos des autorisations liées aux ensembles de données

L'exportation Cloud Billing vers BigQuery utilise un compte de service pour gérer les autorisations de l'ensemble de données.

Après avoir activé l'exportation Cloud Billing vers BigQuery, Google ajoute automatiquement un compte de service en tant que propriétaire à l'ensemble de données que vous spécifiez. Les comptes de service se présentent comme suit :

  • Pour les ensembles de données Standards et Détails sur les coûts d'utilisation : billing-export-bigquery@system.gserviceaccount.com
  • Pour l'ensemble de données de tarification : cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Ces comptes de service sont détenus et gérés par Google. Ils fournissent les autorisations nécessaires à notre processus hors connexion permettant de créer une table et d'y écrire des enregistrements Cloud Billing.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Tables de données de facturation

Peu de temps après l'activation de l'exportation Cloud Billing vers BigQuery, les tables de données de facturation sont automatiquement créées dans l'ensemble de données BigQuery. Pour en savoir plus sur ces tables BigQuery et les schémas de table, consultez la page Comprendre les tables de données créées automatiquement dans BigQuery.

Fréquence des chargements de données

  • Lorsque vous activez l'exportation du coût d'utilisation standard ou détaillé vers BigQuery, l'affichage de vos données de coût Google Cloud peut prendre quelques heures.
  • Lorsque vous activez l'exportation des données de tarification vers BigQuery pour la première fois, l'affichage des données de tarification Google Cloud peut prendre jusqu'à 48 heures.

Pour en savoir plus sur la fréquence des chargements de données dans vos tables BigQuery, consultez la section Fréquence des chargements de données.

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Vos ensembles de données BigQuery contenant les données de coût d'utilisation standard et de tarification ne reflètent que les données de facturation Google Cloud générées depuis la date à laquelle vous avez configuré l'exportation Cloud Billing. Autrement dit, les données de facturation Google Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.
  • Vos ensembles de données BigQuery contenant les données de coût d'utilisation détaillé reflètent les données de facturation Google Cloud générées depuis le début du mois précédent, à partir du moment où vous avez activé l'exportation pour la première fois, à moins que vous ne l'activiez à nouveau. Autrement dit, les données de facturation Google Cloud ne sont ajoutées rétroactivement que pour le mois en cours et le mois précédent. Pour en savoir plus, consultez la section Disponibilité des données.
  • Lorsque vous exportez des données de coût d'utilisation détaillé, vous devez les exporter vers un ensemble de données configuré avec un emplacement multirégional, par exemple les États-Unis (US) ou l'Union européenne (UE). Si vous sélectionnez un ensemble de données qui n'est pas un emplacement multirégional, Cloud Billing ne peut pas écrire de données de facturation détaillées dans les tables appropriées de cet ensemble de données.
  • Les clés de chiffrement gérées par le client (CMEK) ne sont pas compatibles avec l'exportation de données de facturation vers BigQuery. Si vous activez la fonctionnalité CMEK pour votre ensemble de données de facturation, cela empêche Cloud Billing d'écrire des données de facturation dans les tables appropriées de cet ensemble de données. Au lieu de cela, vous devez configurer l'ensemble de données pour qu'il utilise le chiffrement par clés gérées par Google.

Rapports sur les coûts et les tarifs disponibles dans Google Cloud Console