Exporter des données Cloud Billing vers BigQuery

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

L'exportation Cloud Billing vers BigQuery. vous permet d'exporter automatiquement des données détaillées Google Cloud (telles que des données d'utilisation, d'estimations de coût et de tarification) tout au long de la journée vers un ensemble de données BigQuery que vous spécifiez. Vous pouvez ensuite accéder à vos données Cloud Billing depuis BigQuery pour une analyse détaillée, ou les visualiser en passant par un outil tel que Looker Studio. Cette fonctionnalité vous permet aussi d'exporter des données vers un fichier JSON.

Il est important d'activer l'exportation au bon moment. Pour accéder à un ensemble plus complet de données de facturation Google Cloud pour vos besoins d'analyse, nous vous recommandons d'activer l'exportation de données Cloud Billing vers BigQuery et de créer un compte Cloud Billing en même temps.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Étapes suivantes

La gestion des coûts et la création de rapports efficaces constituent un élément essentiel de la gestion financière, que vous gériez les activités d'une entreprise de plusieurs milliards de dollars ou un modeste budget familial. Pour prendre des décisions basées sur les données concernant vos coûts et votre utilisation de Google Cloud, vous devez commencer par collecter les données dont vous avez besoin.

Reportez-vous aux guides de cette section pour en savoir plus sur les tâches suivantes :

Configurer l'exportation des données Cloud Billing vers BigQuery

Pour commencer à collecter vos données Cloud Billing, vous devez activer l'exportation des données Cloud Billing vers BigQuery.

Le guide de configuration fournit des recommandations de bonnes pratiques et des instructions détaillées pour activer l'exportation des données Cloud Billing vers BigQuery. Vous pouvez activer les types de données Cloud Billing suivants pour l'exportation :

  • Données de coût d'utilisation standard : contiennent des informations d'ordre général concernant l'utilisation et les coûts liés au compte de facturation Cloud, telles que l'ID du compte, la date de facturation, les services, les SKU, les projets, les libellés, les emplacements, le coût, l'utilisation, les crédits, les ajustements et la devise.

    Utilisez l'exportation de l'utilisation standard pour analyser les tendances générales dans vos données de coût.

  • Données de coût d'utilisation détaillé : contiennent des informations détaillées concernant l'utilisation et les coûts liés au compte de facturation Cloud. Elles incluent toutes les données présentes dans les données de coût d'utilisation standard, plus les données de coût au niveau des ressources, comme les machines virtuelles ou les disques SSD qui génèrent une utilisation du service.

    Utilisez l'exportation détaillée pour analyser les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts supplémentaires. Vous pouvez afficher des informations sur les ressources GKE et Compute Engine dans le rapport détaillé.

    Pour afficher les informations concernant GKE, activez la répartition des coûts dans les exportations détaillées.

    Consultez le schéma des données de coût d'utilisation détaillé pour obtenir d'autres recommandations et limites.

  • Données de tarification : contiennent des informations sur les tarifs du compte de facturation Cloud, telles que l'ID de compte, les services, les SKU, les produits, les métadonnées géographiques, les unités tarifaires, la devise, l'agrégation et les niveaux.

L'utilisation de BigQuery pour stocker et interroger des données Cloud Billing entraîne un minimum de frais. Pour en savoir plus, consultez la section Coût d'utilisation.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Comprendre les tables de données Cloud Billing

Une fois que vous avez activé l'exportation Cloud Billing vers BigQuery, les tables de données Cloud Billing sont automatiquement créées dans l'ensemble de données BigQuery

Pour comprendre le schéma de données de votre contenu exporté, consultez les informations de référence sur le contenu des données Cloud Billing exportées vers chaque table de l'ensemble de données BigQuery.

Rechercher des exemples de requêtes associées à l'exportation de données Cloud Billing

Pour obtenir des conseils et des instructions sur l'utilisation de SQL pour exécuter des requêtes sur vos données Cloud Billing, consultez les exemples de requêtes.

La page des exemples de requêtes présente plusieurs exemples SQL, y compris les exemples suivants :

Coût d'utilisation

L'utilisation de BigQuery pour stocker les données d'utilisation entraîne généralement un minimum de frais.

  • Le chargement de données dans l'ensemble de données désigné est gratuit. Cette action exploite le pool de ressources partagées de BigQuery pour charger des données par lots.
  • Lors de l'exportation et de l'analyse des données Cloud Billing à l'aide de BigQuery, le coût associé dépend de la quantité de données que vous diffusez, stockez et interrogez.
  • De nombreuses opérations de table partitionnée sont gratuites, en particulier le chargement de données dans des partitions, la copie de partitions et l'exportation de données à partir de partitions. Bien que gratuites, ces opérations sont soumises aux quotas et limites propres à BigQuery.

En général, l'interrogation de l'exportation détaillée des coûts peut coûter plus cher que l'interrogation de l'exportation standard. Pour optimiser vos coûts, nous vous recommandons d'utiliser l'exportation standard pour analyser les tendances de vos coûts, et d'utiliser l'exportation détaillée pour suivre les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts.

Pour vous faire une idée des frais encourus, consultez la page Estimer les coûts liés à l'espace de stockage et aux requêtes.

Pour en savoir plus sur les bonnes pratiques d'optimisation des coûts dans BigQuery, consultez la page Contrôler les coûts dans BigQuery.

Pour connaître la tarification détaillée, consultez les tarifs de BigQuery.

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Vos ensembles de données BigQuery contenant les données de coût d'utilisation standard et de tarification ne reflètent que les données de facturation Google Cloud générées depuis la date à laquelle vous avez configuré l'exportation Cloud Billing. Autrement dit, les données de facturation Google Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.

  • Vous pouvez configurer les ensembles de données BigQuery contenant des données détaillées sur les coûts d'utilisation de sorte qu'ils utilisent n'importe quel emplacement compatible. Le type d'emplacement que vous configurez sur l'ensemble de données aura un impact sur le moment où vos données de facturation Google Cloud sont exportées vers l'ensemble de données:

    • Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional, celui-ci reflète les données de facturation Google Cloud générées depuis le début du mois précédent à compter de la première activation de l'exportation, sauf si vous la réactivez. Autrement dit, les données de facturation Google Cloud sont ajoutées rétroactivement pour le mois en cours et le mois précédent.
    • Si votre ensemble de données est configuré pour utiliser un emplacement de région, vos données de coût d'utilisation détaillées ne reflètent les données de facturation Google Cloud qu'à partir de la date d'activation de l'exportation Cloud Billing. Autrement dit, les données Google Cloud Billing ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux. Par conséquent, vous ne verrez pas les données Cloud Billing avant l'activation de l'exportation.
    • Pour en savoir plus, consultez la section Disponibilité des données.
  • Lorsque vous exportez des données de coût d'utilisation détaillées, l'exportation détaillée inclut automatiquement des informations au niveau des ressources concernant Compute Engine. Pour afficher la répartition des coûts de cluster Google Kubernetes Engine (GKE) dans une exportation de données détaillée, vous devez également activer l'allocation des coûts pour GKE.

  • Les clés de chiffrement gérées par le client (CMEK) ne sont pas compatibles avec l'exportation de données de facturation vers BigQuery. Si vous activez la fonctionnalité CMEK pour votre ensemble de données de facturation, cela empêche Cloud Billing d'écrire des données de facturation dans les tables appropriées de cet ensemble de données. Au lieu de cela, vous devez configurer l'ensemble de données pour qu'il utilise le chiffrement par clés gérées par Google.

  • Les tags sont limités aux instances Compute Engine et leur propagation aux exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé dans l'heure qui suit, ou si une ressource existe depuis moins d'une heure, il est possible qu'elle n'apparaisse pas dans l'exportation.