Exporter des recommandations vers BigQuery

Présentation

Avec l'exportation BigQuery, vous pouvez afficher les instantanés quotidiens des recommandations pour votre organisation. Pour ce faire, utilisez le service de transfert de données BigQuery. Consultez cette documentation pour savoir quels outils de recommandation sont actuellement inclus dans BigQuery Export.

Avant de commencer

Avant de créer un transfert de données pour les recommandations, procédez comme suit :

Autorisez le service de transfert de données BigQuery à gérer le transfert de données. Si vous utilisez l'interface utilisateur Web de BigQuery pour créer le transfert, vous devez autoriser les fenêtres pop-up de console.cloud.google.com dans votre navigateur pour pouvoir afficher les autorisations. Pour en savoir plus, consultez la section Activer un service de transfert de données BigQuery.
Créez un ensemble de données BigQuery pour y stocker vos données.
- Le transfert de données utilise la même région que celle où l'ensemble de données est créé. L'emplacement est immuable une fois l'ensemble de données et le transfert créés.
- L'ensemble de données contiendra des insights et des recommandations provenant de toutes les régions du monde. Ainsi, ces opérations agrègent toutes ces données dans une région mondiale pendant le processus. Veuillez contacter le service client Google Cloud en cas de problèmes de résidence des données.
- Si l'emplacement de l'ensemble de données vient d'être lancé, la disponibilité initiale des données d'exportation peut être retardée.

Tarifs

L'exportation des recommandations vers BigQuery est disponible pour tous les clients de l'outil de recommandation en fonction de leur niveau de tarification de l'outil de recommandation.

Autorisations requises

Lors de la configuration du transfert de données, vous avez besoin des autorisations suivantes au niveau du projet dans lequel vous créez un transfert de données :

bigquery.transfers.update : permet de créer le transfert.
bigquery.datasets.update : permet de mettre à jour les actions sur l'ensemble de données cible.
resourcemanager.projects.update : permet de sélectionner un projet dans lequel vous souhaitez stocker les données d'exportation.
pubsub.topics.list : permet de sélectionner un sujet Pub/Sub afin de recevoir des notifications concernant votre exportation.

L'autorisation suivante est requise au niveau de l'organisation. Cette organisation correspond à celle pour laquelle l'exportation est configurée.

recommender.resources.export : permet d'exporter des recommandations vers BigQuery.

Pour exporter des prix négociés afin de réaliser des économies, vous aurez besoin des permissions suivantes :

billing.resourceCosts.get at project level : permet d'exporter les prix négociés pour les recommandations au niveau du projet.
billing.accounts.getSpendingInformation at billing account level : permet d'exporter les prix négociés pour les recommandations au niveau du compte de facturation.

Sans ces autorisations, les recommandations de réduction des coûts seront exportées avec les prix standards plutôt qu'avec les prix négociés.

Octroyer des autorisations

Les rôles suivants doivent être attribués au projet dans lequel vous créez le transfert de données :

Pour pouvoir créer des actions de transfert et de mise à jour sur l'ensemble de données cible, vous devez attribuer le rôle suivant :

Rôle d'administrateur BigQuery : roles/bigquery.admin

Plusieurs rôles contiennent des autorisations permettant de sélectionner un projet pour stocker vos données d'exportation et sélectionner un sujet Pub/Sub pour recevoir des notifications. Pour accorder ces deux autorisations, vous pouvez attribuer le rôle suivant :

Rôle de propriétaire du projet : roles/owner

Plusieurs rôles contiennent l'autorisation billing.resourceCosts.get permettant d'exporter les prix négociés pour obtenir des recommandations de réduction des coûts. Vous pouvez attribuer n'importe lequel de ces rôles :

Rôle de propriétaire du projet : roles/owner
Rôle de lecteur du projet : roles/viewer
Rôle d'éditeur du projet : roles/editor

Plusieurs rôles contiennent l'autorisation "billing.accounts.getSpendingInfo" pour exporter les tarifs négociés pour les recommandations de réduction des coûts au niveau du compte de facturation. Vous pouvez attribuer n'importe lequel de ces rôles :

Rôle d'administrateur de compte de facturation : roles/billing.admin
Rôle de gestionnaire des coûts du compte de facturation : roles/billing.costsManager
Rôle de lecteur de compte de facturation : roles/billing.viewer

Vous devez attribuer le rôle suivant au niveau de l'organisation :

Le rôle Exportateur de recommandations (roles/recommender.exporter) dans Google Cloud Console.

Vous pouvez également créer des rôles personnalisés contenant les autorisations requises.

Créer un transfert de données pour les recommandations

Connectez-vous à Google Cloud Console.

Se connecter à la console Google Cloud
Sur l'écran Accueil, cliquez sur l'onglet Recommandations.
Cliquez sur Exporter pour afficher le formulaire d'exportation BigQuery.
Sélectionnez un projet projet de destination pour stocker les données de recommandations, puis cliquez sur Suivant.

Remarque : Si vous ne trouvez pas le projet, vous ne disposez pas des autorisations nécessaires ou aucun projet n'est disponible.
Cliquez sur Activer les API pour activer les API BigQuery pour l'exportation. Cette opération peut prendre quelques secondes. Lorsque vous avez terminé, cliquez sur Continuer.

Remarque : Si les API sont déjà activées pour ce projet, cette étape est ignorée.
Dans le formulaire Configurer le transfert, fournissez les informations suivantes :
- Dans la section Nom de la configuration de transfert, sous Nom à afficher, saisissez le nom du transfert. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
- Dans la section Schedule options (Options de programmation), pour le champ Custom Schedule (Programmation personnalisée), laissez la valeur par défaut Start now (Commencer), ou cliquez sur Start at a set time (Démarrer à l'heure définie).
  - Pour le champ Repeats (Périodicité), choisissez l'une des options suivantes pour la fréquence d'exécution du transfert.
    - Daily (Tous les jours) (par défaut)
    - Toutes les semaines
    - Tous les mois
    - Personnalisé
    - On-demand (À la demande)
  - Pour le champ Start date and run time (Date de début et heure d'exécution), saisissez la date et l'heure de début du transfert. Cette option est désactivée si vous choisissez Start now (Commencer).
- Dans la section Destination settings (Paramètres de destination), pour le champ Destination dataset (Ensemble de données de destination), choisissez l'ID d'ensemble de données que vous avez créé pour stocker vos données.
- Dans la section Data source details (Détails de la source de données) :
  - La valeur par défaut de organization_id est l'organisation pour laquelle vous consultez actuellement des recommandations. Si vous souhaitez exporter des recommandations vers une autre organisation, vous pouvez modifier cette option en haut de la console dans le lecteur de l'organisation.
    
    Remarque : Les recommandations pour les projets sans organisation ne sont pas exportées.
- (Facultatif) Dans la section Options de notification :
  - Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
  - Pour le champ Select a Pub/Sub topic (Sélectionner un sujet Pub/Sub), choisissez le nom de votre sujet ou cliquez sur Create a topic (Créer un sujet). Cette option configure les notifications d'exécution Pub/Sub pour votre transfert.
Cliquez sur Créer pour créer le transfert.
Cliquez sur Allow (Autoriser) dans le pop-up d'autorisation.

Remarque : En autorisant le consentement, cela permet d'utiliser les champs d'application BigQuery et les API Google Cloud Platform dans votre transfert de données. Ces API permettent d'afficher et de gérer vos données dans https://www.googleapis.com/auth/bigquery et https://www.googleapis.com/auth/cloud-platform. Ces API sont utilisées uniquement pour les projets et les organisations auxquels vous avez accès en fonction de l'autorisation définie.
Une fois le transfert créé, vous êtes redirigé vers le hub de recommandations. Vous pouvez cliquer sur le lien pour accéder aux informations de configuration du transfert. Vous pouvez également accéder aux transferts en procédant comme suit :
- Accédez à la page "BigQuery" de la console Google Cloud.
  
  Accéder à la page "BigQuery"
- Cliquez sur Transferts de données. Vous pouvez afficher tous les transferts de données disponibles.

Afficher l'historique d'exécution d'un transfert

Pour afficher l'historique d'exécution d'un transfert, procédez comme suit :

Accédez à la page "BigQuery" de la console Google Cloud.

Accéder à la page "BigQuery"
Cliquez sur Transferts de données. Vous pouvez afficher tous les transferts de données disponibles.

Remarque : Un transfert est terminé lorsque l'état apparaît en vert.
Cliquez sur le transfert approprié dans la liste.
Dans la liste des transferts exécutés affichée dans l'onglet HISTORIQUE D'EXÉCUTION, sélectionnez le transfert dont vous souhaitez afficher les détails.
Le panneau Détails d'exécution s'affiche pour chaque transfert exécuté sélectionné. Voici quelques-uns des détails d'exécution affichés :
- Transfert différé dû à l'indisponibilité des données sources.
- Tâche indiquant le nombre de lignes exportées dans une table.
- Autorisations manquantes pour une source de données pour laquelle vous devez accorder et programmer plus tard un remplissage.

Quand vos données sont-elles exportées ?

Lorsque vous créez un transfert de données, la première exportation a lieu deux jours plus tard. Après la première exportation, les jobs d'exportation s'exécutent à la fréquence que vous avez demandée au moment de la configuration. Les conditions suivantes s'appliquent :

Le job d'exportation d'un jour spécifique (J) exporte les données de fin de la journée (J) vers votre ensemble de données BigQuery, qui se termine généralement à la fin du jour suivant (J+1). La tâche d'exportation s'exécute dans le fuseau horaire PST et un délai supplémentaire peut apparaître pour les autres fuseaux horaires.
Le job d'exportation quotidienne ne s'exécute que lorsque toutes les données pour l'exportation sont disponibles. Cela peut entraîner des variations et parfois des retards sur le jour et l'heure de mise à jour de l'ensemble de données. Par conséquent, il est préférable d'utiliser le dernier instantané de données disponible plutôt que d'avoir une dépendance marquée sur les données temporelles, pour des tables datées spécifiques.

Messages d'état courants lors d'une exportation

Découvrez les messages d'état courants que vous pourrez voir s'afficher lors de l'exportation de recommandations vers BigQuery.

L'utilisateur ne dispose pas de l'autorisation requise

Ce message s'affiche lorsque l'utilisateur ne dispose pas de l'autorisation recommender.resources.export requise. Le message s'affiche comme suit :

User does not have required permission "recommender.resources.export". Please, obtain the required permissions for the datasource and try again by triggering a backfill for this date

Pour résoudre ce problème, accordez le rôle IAM roles/recommender.exporter à l'utilisateur/au compte de service (user/service account) qui configure l'exportation au niveau de l'organisation, pour l'organisation pour laquelle l'exportation a été configurée. L'octroi de ce rôle peut s'effectuer via les commandes gcloud ci-dessous :

Dans le cas d'un utilisateur :

gcloud organizations add-iam-policy-binding *<organization_id>* --member='user:*<user_name>*' --role='roles/recommender.exporter'

Dans le cas d'un compte de service :
```
gcloud organizations add-iam-policy-binding *<organization_id>* --member='serviceAccount:*<service_acct_name>*' --role='roles/recommender.exporter'
```
Remarque : Il n'est actuellement pas possible d'accorder des autorisations à des comptes de service via l'interface utilisateur.

Transfert différé en raison d'une indisponibilité des données sources

Ce message s'affiche lorsque le transfert est reprogrammé, car les données sources ne sont pas encore disponibles. Il ne s'agit pas d'une erreur. Cela signifie que les pipelines d'exportation ne sont pas encore terminés pour la journée. Le transfert sera réexécuté à la nouvelle heure planifiée et réussira une fois les pipelines d'exportation terminés. Le message s'affiche comme suit :

Transfer deferred due to source data not being available

Données sources introuvables

Ce message s'affiche lorsque les pipelines F1toPlacer sont terminés, mais qu'aucune recommandation ni aucun insight n'ont été trouvés pour l'organisation pour laquelle l'exportation a été configurée. Le message s'affiche comme suit :

Source data not found for 'recommendations_export$<date>'insights_export$<date>

Son apparition est due aux raisons suivantes :

L'utilisateur a configuré l'exportation il y a moins de deux jours. Le guide client indique aux clients qu'un délai d'une journée s'applique avant que leur exportation soit disponible.
Aucune recommandation ni aucun insight ne sont disponibles pour l'organisation, pour le jour en question. Il peut s'agir du cas réel, ou bien des pipelines ont peut-être été exécutés avant que toutes les recommandations ou tous les insights ne soient disponibles pour la journée.

Afficher les tables d'un transfert

Lorsque vous exportez des recommandations vers BigQuery, l'ensemble de données contient deux tables partitionnées par date :

recommendations_export
insight_export

Pour en savoir plus sur les tables et le schéma, consultez les pages Créer et utiliser des tables et Spécifier un schéma.

Pour afficher les tables d'un transfert de données, procédez comme suit :

Accédez à la page "BigQuery" de la console Google Cloud. Accéder à la page "BigQuery"
Cliquez sur Transferts de données. Vous pouvez afficher tous les transferts de données disponibles.
Cliquez sur le transfert approprié dans la liste.
Cliquez sur l'onglet CONFIGURATION, puis sur l'ensemble de données.
Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données. La description et les détails s'affichent dans le panneau de détails. Les tables d'un ensemble de données sont répertoriées avec le nom de l'ensemble de données dans le panneau Explorateur.

Programmez un remplissage.

Les recommandations pour une date antérieure (ultérieure à la date à laquelle l'organisation a été activée pour l'exportation) peuvent être exportées en planifiant un remplissage. Pour planifier un remplissage, procédez comme suit :

Accédez à la page "BigQuery" de la console Google Cloud.

Accéder à la page "BigQuery"
Cliquez sur Transferts de données.
Sur la page Transferts, cliquez sur le transfert approprié dans la liste.
1. Cliquez sur Schedule Backfill (Programmer un remplissage).
2. Dans la boîte de dialogue Programmer le remplissage, sélectionnez la date de début et la date de fin.

Pour en savoir plus sur l'utilisation des transferts, consultez la page Utiliser les transferts.

Exemples de requêtes

Vous pouvez utiliser les exemples de requêtes suivants pour analyser vos données exportées.

Afficher les économies réalisées pour les recommandations dont la durée est affichée en jours

SELECT name, recommender, target_resources,
  case primary_impact.cost_projection.cost.units is null
       when true then round(primary_impact.cost_projection.cost.nanos * power(10,-9),2)
       else
       round( primary_impact.cost_projection.cost.units +
       (primary_impact.cost_projection.cost.nanos * power(10,-9)), 2)
   end
   as dollar_amt,
   primary_impact.cost_projection.duration.seconds/(60*60*24) as duration_in_days
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and primary_impact.category = "COST"

Afficher la liste des rôles IAM inutilisés

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and recommender = "google.iam.policy.Recommender"
and recommender_subtype = "REMOVE_ROLE"

Afficher une liste des rôles attribués devant être remplacés par des rôles moins importants

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and recommender = "google.iam.policy.Recommender"
and recommender_subtype = "REPLACE_ROLE"

Afficher les insights d'une recommandation

SELECT recommendations.name as recommendation_name,
insights.name as insight_name,
recommendations.cloud_entity_id,
recommendations.cloud_entity_type,
recommendations.recommender,
recommendations.recommender_subtype,
recommendations.description,
recommendations.target_resources,
recommendations.recommendation_details,
recommendations.state,
recommendations.last_refresh_time as recommendation_last_refresh_time,
insights.insight_type,
insights.insight_subtype,
insights.category,
insights.description,
insights.insight_details,
insights.state,
insights.last_refresh_time as insight_last_refresh_time
FROM `<project>.<dataset>.recommendations_export` as recommendations,
   `<project>.<dataset>.insights_export` as insights
WHERE DATE(recommendations._PARTITIONTIME) = "<date>"
and DATE(insights._PARTITIONTIME) = "<date>"
and insights.name in unnest(recommendations.associated_insights)

Afficher les recommandations pour les projets appartenant à un dossier spécifique

Cette requête renvoie les dossiers parents en remontant à jusqu'à cinq niveaux du projet.

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and "<folder_id>" in unnest(ancestors.folder_ids)

Afficher les recommandations pour la dernière date disponible exportée jusqu'à présent

DECLARE max_date TIMESTAMP;

SET max_date = (
  SELECT MAX(_PARTITIONTIME) FROM
  `<project>.<dataset>.recommendations_export`
  );

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE _PARTITIONTIME = max_date

Utiliser Sheets pour explorer les données BigQuery

Au lieu d'exécuter des requêtes sur BigQuery, vous pouvez accéder, analyser, visualiser et partager des milliards de lignes de données BigQuery depuis votre feuille de calcul avec les feuilles connectées, le nouveau connecteur de données BigQuery. Pour en savoir plus, consultez la section Premiers pas avec les données BigQuery dans Google Sheets.

Configurer l'exportation en utilisant la ligne de commande BigQuery et l'API REST

Obtenir les autorisations requises

Vous pouvez obtenir les autorisations IAM (Identity and Access Management) requises en utilisant la console Google Cloud ou la ligne de commande.
- Ligne de commande pour les comptes de service
- Ligne de commande pour les utilisateurs :
  - Autorisations au niveau du projet
  - Autorisations au niveau de l'organisation
Par exemple, pour utiliser la ligne de commande afin d'obtenir l'autorisation recommander.resources.export au niveau du compte de service, procédez comme suit :

gcloud organizations add-iam-policy-binding *<organization_id>* --member=serviceAccount:*<service_acct_name>*' --role='roles/recommender.exporter'
Créez l'ensemble de données et activez l'API BigQuery
Enregistrez le projet dans la source de données BigQuery

Datasource to use: 6063d10f-0000-2c12-a706-f403045e6250
Créez l'exportation :
- À l'aide de l'API REST
- Avec la ligne de commande BigQuery :
```
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset_id \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name
```
Où :
- project_id est l'ID de votre projet.
- dataset est l'ID de l'ensemble de données cible pour la configuration de transfert.
- name est le nom à afficher pour la configuration de transfert. Ce nom peut correspondre à toute valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
- parameters contient les paramètres de la configuration de transfert créée au format JSON. Pour les recommandations et les insights BigQuery Export, vous devez fournir l'ID de l'organisation pour laquelle les recommandations et les insights doivent être exportés. Format des paramètres : '{"organization_id":"<org id>"}'
- data_source Source de données à utiliser : "6063d10f-0000-2c12-a706-f403045e6250"
- service_account_name est le nom du compte de service utilisé pour authentifier votre exportation. Le compte de service doit appartenir au même project_id que celui utilisé pour créer le transfert et doit disposer de toutes les autorisations requises répertoriées ci-dessus.
Gérez une exportation existante via l'interface utilisateur ou la ligne de commande BigQuery :
- Afficher l'exportation
- Utiliser les transferts
Remarque : L'exportation est exécutée au nom de l'utilisateur qui a configuré le compte, quelle que soit la personne qui met à jour la configuration d'exportation par la suite. Par exemple, si l'exportation est configurée en utilisant un compte de service, et qu'un utilisateur met ensuite à jour la configuration d'exportation en utilisant l'interface utilisateur du service de transfert de données BigQuery, l'exportation continue de s'exécuter au nom du compte de service. Dans ce cas, la vérification de l'autorisation "recommender.resources.export" est effectuée pour le compte de service à chaque exécution de l'exportation.