Configurer l'exportation des données Cloud Billing vers BigQuery

Ce guide fournit toutes les étapes de configuration requises pour activer l'exportation des données Cloud Billing vers BigQuery.

Aperçu

Pour exporter des données Cloud Billing vers BigQuery, procédez comme suit :

  • Créer un projet dans lequel les données Cloud Billing seront stockées, et activer la facturation sur le projet (si ce n'est pas déjà fait)
  • Configurer les autorisations sur le projet et sur le compte de facturation Cloud
  • Activer l'API du service de transfert de données BigQuery (obligatoire pour exporter vos données de tarification)
  • Créer un ensemble de données BigQuery dans lequel stocker les données.
  • Activer l'exportation Cloud Billing des données de coût et des données de tarification à écrire dans l'ensemble de données

Ce document vous explique en détail chacune de ces étapes.

À propos de Cloud Console

Google Cloud Console (Accéder à la documentation, Ouvrir la console) est une interface utilisateur Web permettant de provisionner, configurer, gérer et surveiller les systèmes utilisant des produits Google Cloud. Vous utilisez Cloud Console pour configurer et gérer les ressources Google Cloud et Cloud Billing.

Autorisations requises pour cette tâche

Pour activer et configurer l'exportation des données Google Cloud Billing vers un ensemble de données BigQuery, vous devez disposer des autorisations suivantes :

  • Le rôle Administrateur de compte de facturation pour le compte de facturation Cloud cible
  • Le rôle Utilisateur de BigQuery pour le projet Cloud qui contient l'ensemble de données BigQuery qui sera utilisé pour stocker les données Cloud Billing

En outre, pour activer et configurer l'exportation des données tarifaires de Cloud Billing, vous devez disposer des autorisations suivantes :

  • Administrateur BigQuery pour le projet Cloud contenant l'ensemble de données BigQuery qui sera utilisé pour stocker les données de facturation de Cloud Billing
  • Autorisation resourcemanager.projects.update pour le projet sur le cloud contenant l'ensemble de données cible. Ces autorisations sont incluses dans le rôle roles/editor.

Vous devrez peut-être également disposer d'autorisations de projet. Si vous êtes membre d'une organisation Google Cloud, pour créer un projet, vous devez disposer du rôle Créateur de projet dans l'organisation ou le dossier. Plus précisément, pour créer un projet, vous devez disposer des autorisations suivantes :

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Pour plus d'informations sur les autorisations Google Cloud, consultez les articles suivants :

Activer l'exportation des données Cloud Billing vers BigQuery

Suivez les étapes décrites dans cette section pour activer l'exportation de vos données Cloud Billing vers BigQuery.

1. Sélectionner ou créer un projet

Les données Cloud Billing exportées vers BigQuery sont contenues dans un ensemble de données BigQuery. Un ensemble de données est contenu dans un projet Cloud que vous spécifiez.

Recommandation concernant les projets : Nous vous recommandons de créer un projet Cloud pour contenir toutes vos données d'administration de la facturation, y compris vos données Cloud Billing. Vous pouvez également utiliser ce projet Cloud d'administration de la facturation pour des éléments tels que l'accès aux API Cloud Billing, les canaux Pub/Sub pour les notifications de budget automatisées et d'autres tâches d'administration Cloud Billing.

Important : Le projet Cloud que vous sélectionnez pour contenir votre ensemble de données doit être associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery. Un projet Cloud est associé à un seul compte de facturation Cloud à la fois. Un compte de facturation Cloud est associé à un ou plusieurs projets.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Découvrez comment créer et gérer des projets.

2. Vérifier que la facturation est activée

Vous devez vous assurer que la facturation est activée sur le projet Cloud que vous sélectionnez pour contenir votre ensemble de données, et que ce projet Cloud est associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery.

3. Activer l'API du service de transfert de données BigQuery

Si vous envisagez d'exporter vos données de tarification Cloud Billing vers BigQuery, vous devez activer l'API du service de transfert de données BigQuery. Si vous ne prévoyez pas d'exporter de données de tarification Cloud Billing, vous pouvez passer à l'étape 4. Créez un ensemble de données BigQuery.

L'API du service de transfert de données BigQuery doit être activée dans le projet Cloud qui contient vos ensembles de données BigQuery. Si vous avez suivi la recommandation dans la section Sélectionner ou créer un projet, il s'agit de votre projet d'administration de la facturation Google Cloud.

Pour activer l'API du service de transfert de données BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console et accédez à la page de l'API.

    Accéder à la page de l'API du service de transfert de données BigQuery

  2. Lorsque vous y êtes invité, sélectionnez un projet. Vous devez activer l'API du service de transfert de données BigQuery dans le projet quei contient votre ensemble de données BigQuery. Si vous avez suivi la recommandation dans la section Sélectionner ou créer un projet, il s'agit de votre projet d'administration de la facturation Google Cloud.

  3. Sur la page de l'API BigQuery Data Transfer Service, cliquez sur Activer pour activer l'API dans le projet sélectionné.

Pour en savoir plus sur l'activation des API, consultez la documentation concernant Service Usage.

4. Créer un ensemble de données BigQuery

Avant d'activer l'exportation de vos données Cloud Billing vers BigQuery, vous devez créer au moins un ensemble de données BigQuery pour gérer vos données exportées. Vous pouvez utiliser le même ensemble de données pour contenir à la fois vos données de détail du coût quotidien et vos données de tarification.

Un ensemble de données est contenu dans un projet Cloud que vous spécifiez. Les ensembles de données sont des conteneurs de niveau supérieur utilisés pour organiser et contrôler l'accès à vos tables et vues. Une table ou une vue doit appartenir à un ensemble de données. Vous devez donc créer au moins un ensemble de données avant de charger des données dans BigQuery.

Si vous utilisez un ensemble de données existant, consultez les limites susceptibles d'avoir une incidence sur l'exportation de vos données de facturation vers BigQuery, telles que l'impossibilité d'utiliser des ensembles de données avec les clés de chiffrement gérées par le client activées.

Pour créer un ensemble de données BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console et accédez à la page BigQuery.

    Accéder à la page BigQuery

  2. Dans la liste déroulante projet ( Mon projet ) en haut de la page Google Cloud Console, sélectionnez le projet que vous avez défini pour contenir votre ensemble de données. Notez l'ID de projet, car vous en aurez besoin à l'étape suivante.

  3. Dans laExplorateur dans le panneau projets épinglés cliquez sur l'ID de votre projet pour ouvrir le projet. Si un menu à développer s'affiche () à côté de votre ID de projet, cliquez sur le menu et sélectionnez Ouvrir.

  4. Cliquez sur  Créer un ensemble de données. Le panneau "Créer un ensemble de données" s'ouvre.

    1. Saisissez l'ID de l'ensemble de données. Nous vous recommandons d'utiliser un ID qui couvre des projets, tel que all_billing_data, plutôt qu'un ID spécifique au projet.
    2. Sélectionnez l'emplacement des données. L'emplacement des données indique la région dans laquelle vos données sont stockées. Toutes les tables dans cet ensemble de données partageront cet emplacement.

      Lorsque vous créez un ensemble de données, nous vous recommandons de sélectionner une option multirégion, telle que États-Unis (us) ou Union européenne (eu).

      Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié. En savoir plus sur les emplacements.

    3. Définissez l'expiration de la table par défaut sur Jamais.

      Sélectionnez Jamais pour conserver vos données. Si vous saisissez un nombre de jours, toute table créée dans cet ensemble de données sera automatiquement supprimée après le nombre de jours spécifié après sa création. Important : Si vous supprimez des tables contenant des enregistrements de données Cloud Billing exportés, ces enregistrements ont disparu et nous ne pouvons pas les remplacer.

    4. Définissez l'option Chiffrement sur Clé gérée par Google.

      Notez que le chiffrement par clé gérée par le client n'est pas compatible pour l'exportation d'enregistrements de données Cloud Billing vers BigQuery.

    5. Pour enregistrer, cliquez sur Créer un ensemble de données.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

5. Activer l'exportation Cloud Billing vers l'ensemble de données BigQuery

Vous pouvez activer l'exportation des données Cloud Billing dans la section Cloud Billing de Cloud Console.

Pour activer l'exportation des données Cloud Billing vers BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console.

    Se connecter à Cloud Console

  2. Ouvrez le menu de navigation de la console (), puis sélectionnez Facturation.

    Si vous possédez plusieurs comptes de facturation Cloud, effectuez l'une des opérations suivantes :

    • Pour gérer Cloud Billing pour le projet Cloud en cours, sélectionnez Accéder au compte de facturation associé.
    • Pour rechercher un autre compte de facturation, sélectionnez Gérer les comptes de facturation, puis sélectionnez le compte pour lequel vous souhaitez activer l'exportation des données Cloud Billing vers BigQuery.
  3. Dans le menu de navigation "Facturation", sélectionnez Exporter la facturation.

  4. Sélectionnez l'onglet Exportation vers BigQuery (cet onglet est sélectionné par défaut). Dans l'onglet "Exportation vers BigQuery", vous pouvez activer deux types de données à exporter :

Exporter les données détaillées de coût quotidien

Pour activer l'exportation de vos données détaillées d'utilisation et de coût Cloud Billing, procédez comme suit :

  1. Pour activer l'exportation ou mettre à jour les paramètres d'exportation, cliquez sur Modifier les paramètres.
  2. Dans la liste Projet, sélectionnez le projet que vous avez configuré pour contenir votre ensemble de données BigQuery.

    Le projet que vous sélectionnez sert à stocker les données Cloud Billing exportées dans l'ensemble de données BigQuery. Les données Cloud Billing exportées incluent les données d'utilisation et de coût de tous les projets Cloud payés par le même compte de facturation Cloud.

  3. Dans la liste Ensemble de données pour l'exportation de la facturation, sélectionnez l'ensemble de données que vous avez configuré pour contenir vos données Cloud Billing exportées.

    Conseils :

    • L'API BigQuery est requise pour exporter des données vers BigQuery. Si l'API BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Cliquez sur Activer l'API BigQuery pour que l'API soit activée.
    • Si le projet que vous avez sélectionné ne contient aucun ensemble de données BigQuery, vous serez invité à en créer un. Le cas échéant, procédez comme suit pour créer un ensemble de données.
    • Si vous utilisez un ensemble de données existant, consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery, telles que l'impossibilité d'exporter les données vers des ensembles de données configurés pour utiliser le chiffrement par clés gérées par le client.
  4. Cliquez sur Enregistrer.

Exporter les données de tarification

Pour activer l'exportation des données de tarification Cloud Billing, procédez comme suit :

  1. Pour activer l'exportation ou mettre à jour les paramètres d'exportation, cliquez sur Modifier les paramètres.
  2. Dans la liste Projet, sélectionnez le projet que vous avez configuré pour contenir votre ensemble de données BigQuery.

    Le projet que vous sélectionnez sert à stocker les données de facturation Cloud Billing exportées dans l'ensemble de données BigQuery. Les données de tarification sont spécifiques au compte de facturation Cloud associé au projet d'ensemble de données sélectionné.

  3. Dans la liste Ensemble de données pour l'exportation de la facturation, sélectionnez l'ensemble de données que vous avez configuré pour contenir vos données Cloud Billing exportées.

    Conseils :

    • L'API BigQuery est requise pour exporter des données vers BigQuery. Si l'API BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Cliquez sur Activer l'API BigQuery pour que l'API soit activée.
    • L'API du service de transfert de données BigQuery est requise pour exporter les données de tarification vers BigQuery. Si l'API du service de transfert de données BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous serez invité à l'activer. Si nécessaire, suivez ces étapes pour activer l'API.
    • Si le projet que vous avez sélectionné ne contient aucun ensemble de données BigQuery, vous serez invité à en créer un. Le cas échéant, procédez comme suit pour créer un ensemble de données.
    • Si vous utilisez un ensemble de données existant, consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery, telles que l'impossibilité d'exporter les données vers des ensembles de données configurés pour utiliser le chiffrement par clés gérées par le client.
  4. Cliquez sur Enregistrer.

À propos des autorisations liées aux ensembles de données

L'exportation Cloud Billing vers BigQuery utilise un compte de service pour gérer les autorisations de l'ensemble de données.

Après avoir activé l'exportation Cloud Billing vers BigQuery, Google ajoute automatiquement un compte de service en tant que propriétaire à l'ensemble de données que vous spécifiez. Le compte de service se présente comme suit :

  • billing-export-bigquery@system.gserviceaccount.com

Ce compte de service est détenu et géré par Google. Il fournit les autorisations nécessaires à notre processus hors connexion permettant de créer une table et d'y écrire des enregistrements Cloud Billing.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Tables de données de facturation

Peu de temps après l'activation de l'exportation Cloud Billing vers BigQuery, les tables de données de facturation sont automatiquement créées dans l'ensemble de données BigQuery. Pour en savoir plus sur ces tables BigQuery et les schémas de table, consultez la page Comprendre les tables de données créées automatiquement dans BigQuery.

Fréquence des chargements de données

  • Lorsque vous activez pour la première fois l'exportation des données détaillées de coût quotidien vers BigQuery, l'affichage de vos données de coût Google Cloud peut prendre quelques heures.
  • Lorsque vous activez l'exportation des données de tarification vers BigQuery pour la première fois, l'affichage des données de tarification Google Cloud peut prendre jusqu'à 48 heures.

Pour en savoir plus sur la fréquence des chargements de données dans vos tables BigQuery, consultez la section Fréquence des chargements de données.

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Votre ensemble de données BigQuery ne reflète que les données de facturation Google Cloud générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, les données de facturation Google Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas.
  • Les clés de chiffrement gérées par le client (CMEK) ne sont pas compatibles avec l'exportation de données de facturation vers BigQuery. Si vous activez la fonctionnalité CMEK pour votre ensemble de données de facturation, cela empêchera Cloud Billing d'écrire des données de facturation dans les tables appropriées de cet ensemble de données. Au lieu de cela, vous devez configurer l'ensemble de données pour qu'il utilise le chiffrement par clés gérées par Google.

Rapports sur les coûts et les tarifs disponibles dans Google Cloud Console