Configurer l'exportation des données Cloud Billing vers BigQuery

Ce guide fournit toutes les étapes de configuration requises pour activer l'exportation des données Cloud Billing vers BigQuery.

Aperçu

Pour exporter des données Cloud Billing vers BigQuery, procédez comme suit :

  • Créer un projet dans lequel les données Cloud Billing seront stockées, et activer la facturation sur le projet (si ce n'est pas déjà fait)
  • Configurer les autorisations sur le projet et sur le compte de facturation Cloud
  • Activer l'API du service de transfert de données BigQuery (obligatoire pour exporter vos données de tarification)
  • Créer un ensemble de données BigQuery dans lequel stocker les données.
  • Activer l'exportation Cloud Billing des données de coût et des données de tarification à écrire dans l'ensemble de données

Ce document vous explique en détail chacune de ces étapes.

À propos de Cloud Console

Google Cloud Console (Accéder à la documentation, Ouvrir la console) est une interface utilisateur Web permettant de provisionner, configurer, gérer et surveiller les systèmes utilisant des produits Google Cloud. Vous utilisez Cloud Console pour configurer et gérer les ressources Google Cloud et Cloud Billing.

Autorisations requises pour cette tâche

Pour activer et configurer l'exportation des données Google Cloud Billing vers un ensemble de données BigQuery, vous devez disposer des autorisations suivantes :

  • Le rôle Administrateur de compte de facturation pour le compte de facturation Cloud cible
  • Le rôle Utilisateur de BigQuery pour le projet Cloud qui contient l'ensemble de données BigQuery qui sera utilisé pour stocker les données Cloud Billing

Pour plus d'informations sur les autorisations Google Cloud, consultez les articles suivants :

Activer l'exportation des données Cloud Billing vers BigQuery

Suivez les étapes décrites dans cette section pour activer l'exportation de vos données Cloud Billing vers BigQuery.

1. Sélectionner ou créer un projet

Les données Cloud Billing exportées vers BigQuery sont contenues dans un ensemble de données BigQuery. Un ensemble de données est contenu dans un projet Cloud que vous spécifiez.

Recommandation concernant les projets : Nous vous recommandons de créer un projet Cloud pour contenir toutes vos données d'administration de la facturation, y compris vos données Cloud Billing. Vous pouvez également utiliser ce projet Cloud d'administration de la facturation pour des éléments tels que l'accès aux API Cloud Billing, les canaux Pub/Sub pour les notifications de budget automatisées et d'autres tâches d'administration Cloud Billing.

Important : Le projet Cloud que vous sélectionnez pour contenir votre ensemble de données doit être associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery. Un projet Cloud est associé à un seul compte de facturation Cloud à la fois. Un compte de facturation Cloud est associé à un ou plusieurs projets.

Dans Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Cloud.

Accéder à la page de sélection du projet

Découvrez comment créer et gérer des projets.

2. Vérifier que la facturation est activée

Vous devez vous assurer que la facturation est activée sur le projet Cloud que vous sélectionnez pour contenir votre ensemble de données, et que ce projet Cloud est associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery.

3. Activer l'API du service de transfert de données BigQuery

Si vous envisagez d'exporter vos données de tarification Cloud Billing vers BigQuery, vous devez activer l'API du service de transfert de données BigQuery. Si vous ne prévoyez pas d'exporter de données de tarification Cloud Billing, vous pouvez passer à la section 4. Créer un ensemble de données BigQuery

L'API du service de transfert de données BigQuery doit être activée dans le projet Cloud qui contient vos ensembles de données BigQuery. Si vous avez suivi la recommandation dans la section Sélectionner ou créer un projet, il s'agit de votre projet d'administration de la facturation Google Cloud.

Pour activer l'API du service de transfert de données BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console et accédez à la page de l'API.

    Accéder à la page de l'API du service de transfert de données BigQuery

  2. Cliquez sur Activer pour activer l'API.

  3. Lorsque vous y êtes invité, sélectionnez un projet. Vous devez activer l'API du service de transfert de données BigQuery dans le projet quei contient votre ensemble de données BigQuery. Si vous avez suivi la recommandation dans la section Sélectionner ou créer un projet, il s'agit de votre projet d'administration de la facturation Google Cloud.

Pour en savoir plus sur l'activation des API, consultez la documentation concernant Service Usage.

4. Créer un ensemble de données BigQuery

Avant d'activer l'exportation de vos données Cloud Billing vers BigQuery, vous devez créer au moins un ensemble de données BigQuery pour gérer vos données exportées. Vous pouvez utiliser le même ensemble de données pour contenir à la fois vos données de détail du coût quotidien et vos données de tarification.

Un ensemble de données est contenu dans un projet Cloud que vous spécifiez. Les ensembles de données sont des conteneurs de niveau supérieur utilisés pour organiser et contrôler l'accès à vos tables et vues. Une table ou une vue doit appartenir à un ensemble de données. Vous devez donc créer au moins un ensemble de données avant de charger des données dans BigQuery.

Pour créer un ensemble de données BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console et accédez à la page BigQuery.

    Accéder à la page BigQuery

  2. Dans la liste déroulante projet ( Mon projet ) en haut de la page Google Cloud Console, sélectionnez le projet que vous avez défini pour contenir votre ensemble de données.

  3. Dans le panneau de navigation de BigQuery, cliquez sur nom-de-votre-projet.

  4. Cliquez sur  Créer un ensemble de données. Le panneau "Créer un ensemble de données" s'ouvre.

    1. Saisissez l'ID de l'ensemble de données.
    2. Sélectionnez l'emplacement des données.

      À propos des emplacements : l'emplacement des données spécifie la région dans laquelle vos données sont stockées. Toutes les tables dans cet ensemble de données partageront cet emplacement. Lors de la création d'un ensemble de données, l'emplacement par défaut est l'emplacement multirégional des États-Unis. Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié. En savoir plus sur les emplacements.

    3. Sélectionnez le délai d'expiration des tables par défaut.

    4. Sélectionnez l'option de chiffrement. Pour l'exportation Cloud Billing, sélectionnez Clé gérée par Google.

    5. Pour enregistrer, cliquez sur Créer un ensemble de données.

5. Activer l'exportation Cloud Billing vers l'ensemble de données BigQuery

Vous pouvez activer l'exportation des données Cloud Billing dans la section Cloud Billing de Cloud Console.

Pour activer l'exportation des données Cloud Billing vers BigQuery, procédez comme suit :

  1. Connectez-vous à Google Cloud Console.

    Se connecter à Cloud Console

  2. Ouvrez le menu de navigation () de la console, puis sélectionnez Facturation.

    Si vous possédez plusieurs comptes de facturation Cloud, effectuez l'une des opérations suivantes :

    • Pour gérer Cloud Billing pour le projet Cloud en cours, sélectionnez Accéder au compte de facturation associé.
    • Pour rechercher un autre compte de facturation, sélectionnez Gérer les comptes de facturation, puis sélectionnez le compte pour lequel vous souhaitez activer l'exportation des données Cloud Billing vers BigQuery.
  3. Dans le menu de navigation "Facturation", sélectionnez Exporter la facturation.

  4. Sélectionnez l'onglet Exportation vers BigQuery (cet onglet est sélectionné par défaut). Dans l'onglet "Exportation vers BigQuery", vous pouvez activer deux types de données à exporter :

Exporter les données détaillées de coût quotidien

Pour activer l'exportation de vos données détaillées d'utilisation et de coût Cloud Billing, procédez comme suit :

  1. Pour activer l'exportation ou mettre à jour les paramètres d'exportation, cliquez sur Modifier les paramètres.
  2. Dans la liste Projet, sélectionnez le projet que vous avez configuré pour contenir votre ensemble de données BigQuery.

  3. Dans la liste Ensemble de données pour l'exportation de la facturation, sélectionnez l'ensemble de données que vous avez configuré pour contenir vos données Cloud Billing exportées.

    Conseils :

    • L'API BigQuery est requise pour exporter des données vers BigQuery. Si l'API BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Cliquez sur Activer l'API BigQuery pour que l'API soit activée.
    • Si le projet que vous avez sélectionné ne contient aucun ensemble de données BigQuery, vous serez invité à en créer un. Le cas échéant, procédez comme suit pour créer un ensemble de données.
  4. Cliquez sur Enregistrer.

Exporter les données de tarification

Pour activer l'exportation des données de tarification Cloud Billing, procédez comme suit :

  1. Pour activer l'exportation ou mettre à jour les paramètres d'exportation, cliquez sur Modifier les paramètres.
  2. Dans la liste Projet, sélectionnez le projet que vous avez configuré pour contenir votre ensemble de données BigQuery.

  3. Dans la liste Ensemble de données pour l'exportation de la facturation, sélectionnez l'ensemble de données que vous avez configuré pour contenir vos données Cloud Billing exportées.

    Conseils :

    • L'API BigQuery est requise pour exporter des données vers BigQuery. Si l'API BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Cliquez sur Activer l'API BigQuery pour que l'API soit activée.
    • L'API du service de transfert de données BigQuery est requise pour exporter les données de tarification vers BigQuery. Si l'API du service de transfert de données BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous serez invité à l'activer. Si nécessaire, suivez ces étapes pour activer l'API.
    • Si le projet que vous avez sélectionné ne contient aucun ensemble de données BigQuery, vous serez invité à en créer un. Le cas échéant, procédez comme suit pour créer un ensemble de données.
  4. Cliquez sur Enregistrer.

À propos des autorisations liées aux ensembles de données

L'exportation Cloud Billing vers BigQuery utilise un compte de service pour gérer les autorisations de l'ensemble de données.

Après avoir activé l'exportation Cloud Billing vers BigQuery, Google ajoute automatiquement un compte de service en tant que propriétaire à l'ensemble de données que vous spécifiez. Le compte de service se présente comme suit :

  • billing-export-bigquery@system.gserviceaccount.com

Ce compte de service est détenu et géré par Google. Il fournit les autorisations nécessaires à notre processus hors connexion permettant de créer une table et d'y écrire des enregistrements Cloud Billing.

Tables de données de facturation

Peu de temps après l'activation de l'exportation Cloud Billing vers BigQuery, les tables de données de facturation sont automatiquement créées dans l'ensemble de données BigQuery. Pour en savoir plus sur ces tables BigQuery et les schémas de table, consultez la page Comprendre les tables de données créées automatiquement dans BigQuery.

Fréquence des chargements de données

  • Lorsque vous activez pour la première fois l'exportation des données détaillées de coût quotidien vers BigQuery, l'affichage de vos données de coût Google Cloud peut prendre quelques heures.
  • Lorsque vous activez l'exportation des données de tarification vers BigQuery pour la première fois, l'affichage des données de tarification Google Cloud peut prendre jusqu'à 48 heures.

Pour en savoir plus sur la fréquence des chargements de données dans vos tables BigQuery, consultez la section Fréquence des chargements de données.

Rapports sur les coûts et les tarifs disponibles dans Google Cloud Console