Exporter des données Cloud Billing vers BigQuery

L'exportation Cloud Billing vers BigQuery. vous permet d'exporter automatiquement des données détaillées Google Cloud (telles que des données d'utilisation, d'estimations de coût et de tarification) tout au long de la journée vers un ensemble de données BigQuery que vous spécifiez. Vous pouvez ensuite accéder à vos données Cloud Billing depuis BigQuery pour une analyse détaillée ou utiliser un outil tel que Google Data Studio pour les visualiser. Cette fonctionnalité vous permet aussi d'exporter des données vers un fichier JSON.

Si vous utilisez l'exportation standard de fichiers pour vos données Cloud Billing et que vous recherchez des informations sur vos données exportées vers Cloud Storage, consultez la section Exporter des données Cloud Billing vers un fichier.

Il est important d'activer l'exportation au bon moment. Pour accéder à un ensemble plus complet de données de facturation Google Cloud pour vos besoins d'analyse, nous vous recommandons d'activer l'exportation de données Cloud Billing vers BigQuery et de créer un compte Cloud Billing en même temps.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Étapes suivantes

La gestion des coûts et la création de rapports efficaces constituent un élément essentiel de la gestion financière, que vous gériez les activités d'une entreprise de plusieurs milliards de dollars ou un modeste budget familial. Pour prendre des décisions basées sur les données concernant vos coûts et votre utilisation de Google Cloud, vous devez commencer par collecter les données dont vous avez besoin.

Reportez-vous aux guides de cette section pour en savoir plus sur les tâches suivantes :

Configurer l'exportation des données Cloud Billing vers BigQuery

Pour commencer à collecter vos données Cloud Billing, vous devez activer l'exportation des données Cloud Billing vers BigQuery.

Le guide de configuration fournit des recommandations de bonnes pratiques et des instructions détaillées pour activer l'exportation des données Cloud Billing vers BigQuery. Vous pouvez activer les types de données Cloud Billing suivants pour l'exportation :

  • Données de coût d'utilisation standard : contiennent des informations d'ordre général concernant l'utilisation et les coûts liés au compte de facturation Cloud, telles que l'ID du compte, la date de facturation, les services, les SKU, les projets, les libellés, les emplacements, le coût, l'utilisation, les crédits, les ajustements et les devises.
  • Données de coût d'utilisation détaillé : contiennent des informations détaillées concernant l'utilisation et les coûts liés au compte de facturation Cloud. Elles incluent toutes les données présentes dans les données de coût d'utilisation standard, plus les données de coût au niveau des ressources, comme les machines virtuelles ou les disques SSD qui génèrent une utilisation du service. Activez cette option si vous souhaitez analyser vos données de coût au niveau des ressources ainsi que vos données de coût d'utilisation standard. Il n'est pas nécessaire d'activer à la fois les données de coût d'utilisation standard et détaillé. Consultez le schéma des données de coût d'utilisation détaillé pour obtenir d'autres recommandations et limites.
  • Données de tarification : contiennent des informations sur les tarifs du compte de facturation Cloud, telles que l'ID de compte, les services, les SKU, les produits, les métadonnées géographiques, les unités tarifaires, la devise, l'agrégation et les niveaux.

L'utilisation de BigQuery pour stocker et interroger des données Cloud Billing entraîne un minimum de frais. Pour en savoir plus, consultez la section Coût d'utilisation.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Comprendre les tables de données Cloud Billing

Une fois que vous avez activé l'exportation Cloud Billing vers BigQuery, les tables de données Cloud Billing sont automatiquement créées dans l'ensemble de données BigQuery

Pour comprendre le schéma de données de votre contenu exporté, consultez les informations de référence sur le contenu des données Cloud Billing exportées vers chaque table de l'ensemble de données BigQuery.

Rechercher des exemples de requêtes associées à l'exportation de données Cloud Billing

Pour obtenir des conseils et des instructions sur l'utilisation de SQL pour exécuter des requêtes sur vos données Cloud Billing, consultez les exemples de requêtes.

La page des exemples de requêtes présente plusieurs exemples SQL, y compris les exemples suivants :

Coût d'utilisation

L'utilisation de BigQuery pour stocker les données d'utilisation entraîne un minimum de frais.

  • Le chargement de données dans l'ensemble de données désigné est gratuit. Cette action exploite le pool de ressources partagées de BigQuery pour charger des données par lots.
  • Lors de l'exportation et de l'analyse des données Cloud Billing à l'aide de BigQuery, le coût associé dépend de la quantité de données que vous diffusez, stockez et interrogez.

Pour vous faire une idée des frais encourus, consultez la page Estimer les coûts du stockage et des requêtes.

Récapitulatif des tarifs de BigQuery

Voici un récapitulatif des coûts BigQuery qui vous seront probablement facturés lors de l'exportation et de l'analyse de vos données Cloud Billing avec BigQuery. Pour en savoir plus, consultez la page Tarifs de BigQuery.

SKU Prix Détails
Stockage actif 0,020 $ par Go Les 10 premiers Go sont gratuits chaque mois.
Stockage à long terme 0,010 $ par Go Les 10 premiers Go sont gratuits chaque mois.
Analyse 5,00 $ par To, tarification à la demande Le premier To par mois est gratuit.
Des tarifs forfaitaires sont proposés aux clients ayant un volume de requêtes important.
Insertions en flux continu 0,010 $ par tranche de 200 Mo Facturation par ligne avec une taille minimale de 1 Ko.
*AUCUNE UTILISATION GRATUITE pour ce code SKU

De nombreuses opérations de table partitionnée sont gratuites, en particulier le chargement de données dans des partitions, la copie de partitions et l'exportation de données à partir de partitions. Bien que gratuites, ces opérations sont soumises aux quotas et limites propres à BigQuery. Pour en savoir plus sur toutes les opérations gratuites, consultez la section Opérations gratuites sur la page des tarifs de BigQuery.

Pour en savoir plus sur les bonnes pratiques en matière de contrôle des coûts dans BigQuery, consultez la page Contrôler les coûts dans BigQuery.

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Si le compte de facturation Cloud connecté à votre ensemble de données BigQuery est inactif, par exemple en cas de problèmes lié à votre mode de paiement, votre ensemble de données BigQuery ne contient aucune donnée correspondant à la période d'inactivité de votre compte.
  • Vos ensembles de données BigQuery contenant les données de coût d'utilisation standard et de tarification ne reflètent que les données de facturation Google Cloud générées depuis la date à laquelle vous avez configuré l'exportation Cloud Billing. Autrement dit, les données de facturation Google Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.
  • Vos ensembles de données BigQuery contenant les données de coût d'utilisation détaillé reflètent les données de facturation Google Cloud générées depuis le début du mois précédent, à partir du moment où vous avez activé l'exportation pour la première fois, à moins que vous ne l'activiez à nouveau. Autrement dit, les données de facturation Google Cloud ne sont ajoutées rétroactivement que pour le mois en cours et le mois précédent. Pour en savoir plus, consultez la section Disponibilité des données.
  • Lorsque vous exportez des données de coût d'utilisation détaillé, vous devez les exporter vers un ensemble de données configuré avec un emplacement multirégional, par exemple les États-Unis (US) ou l'Union européenne (UE). Si vous sélectionnez un ensemble de données qui n'est pas un emplacement multirégional, Cloud Billing ne peut pas écrire de données de facturation détaillées dans les tables appropriées de cet ensemble de données.
  • Les clés de chiffrement gérées par le client (CMEK) ne sont pas compatibles avec l'exportation de données de facturation vers BigQuery. Si vous activez la fonctionnalité CMEK pour votre ensemble de données de facturation, cela empêche Cloud Billing d'écrire des données de facturation dans les tables appropriées de cet ensemble de données. Au lieu de cela, vous devez configurer l'ensemble de données pour qu'il utilise le chiffrement par clés gérées par Google.