Transferts Google Play

Le service de transfert de données BigQuery pour Google Play vous permet de planifier et de gérer automatiquement les tâches de chargement récurrentes pour les données de rapports Google Play.

Rapports acceptés

Le service de transfert de données BigQuery pour Google Play accepte actuellement les options de création de rapports mensuels qui sont présentées ci-dessous.

Rapports détaillés

Rapports agrégés

Pour en savoir plus sur la transformation des rapports Google Play en tables BigQuery, consultez l'article Transformation des rapports Google Play.

Option de création de rapports Support
Version d'API compatible

N/A

Horaires

Tous les jours, à l'heure où le transfert a été créé (par défaut)

Vous pouvez configurer l'heure de la journée.

Fenêtre d'actualisation

7 derniers jours

Non configurable

Durée maximale du remplissage

Aucune limite

Même si aucune restriction connue n'est appliquée à la conservation des données dans Google Play, le service de transfert de données BigQuery limite le nombre de jours couverts par chaque demande de remplissage. Pour en savoir plus sur les remplissages, consultez la section Configurer un remplissage.

Avant de commencer

Avant de créer un transfert Google Play, procédez comme suit :

  • Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
  • Créez un ensemble de données BigQuery pour stocker les données Google Play.
  • Assurez-vous que vous disposez des autorisations ci-dessous.
    • Google Cloud Platform : vous devez disposer de l'autorisation bigquery.transfers.update. Le rôle IAM prédéfini bigquery.admin inclut les autorisations bigquery.transfers.update. Pour en savoir plus sur les rôles IAM dans BigQuery, consultez l'article Contrôle des accès.
    • Google Play : vous devez disposer de l'accès "Rapports" dans la console Google Play

      L'équipe Google Cloud ne peut pas générer ni attribuer de droits d'accès aux fichiers Google Play en votre nom. Pour obtenir de l'aide concernant l'accès aux fichiers Google Play, consultez la page Contacter l'assistance Google Play.

  • Recherchez votre bucket Cloud Storage.
    • Dans la console Google Play, sélectionnez un rapport ("Avis", par exemple). Vous trouverez l'ID de votre bucket Cloud Storage en bas de la page. Il commence par gs://. Par exemple, pour le rapport "Avis", vous verrez l'ID suivant :
      gs://pubsite_prod_rev_01234567890987654321/reviews
      Pour configurer votre transfert, vous ne devez copier que l'ID unique qui se trouve entre gs:// et /reviews.
      pubsite_prod_rev_01234567890987654321
  • Si vous envisagez de créer des transferts à l'aide de l'interface utilisateur Web de BigQuery, autorisez les fenêtres pop-up de bigquery.cloud.google.com pour pouvoir afficher la fenêtre des autorisations. Pour que le transfert aboutisse, vous devez autoriser le service de transfert de données BigQuery à gérer vos données de rapports Google Play.
  • Les notifications d'exécution de transfert sont actuellement en version alpha. Si vous souhaitez configurer des notifications d'exécution de transfert pour Cloud Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Si vous ne configurez que des notifications par e-mail, les autorisations Cloud Pub/Sub ne sont pas requises. Pour en savoir plus, consultez l'article Notifications d'exécution du service de transfert de données BigQuery.

Configurer un transfert Google Play

La configuration d'un transfert Google Play requiert les éléments suivants :

  • Bucket Cloud Storage : les étapes vous permettant de localiser votre bucket Cloud Storage sont décrites dans la section Avant de commencer. L'ID du bucket commence par pubsite_prod_rev. Par exemple : pubsite_prod_rev_01234567890987654321.
  • Suffixe de table : nom convivial de toutes les sources de données chargées dans le même ensemble de données. Ce suffixe empêche l'écriture de données dans les mêmes tables lors de transferts distincts. Le suffixe de table doit être unique pour tous les transferts qui chargent des données dans le même ensemble de données. Il doit par ailleurs être court de façon à réduire la longueur du nom de table obtenu.

Pour configurer un transfert Google Play, procédez comme indiqué ci-dessous.

Interface utilisateur Web

  1. Accédez à l'interface utilisateur Web de BigQuery.

    Accéder à l'interface utilisateur Web de BigQuery

  2. Cliquez sur Transferts.

  3. Cliquez sur Ajouter un transfert.

  4. Sur la page New Transfer (Nouveau transfert), effectuez les opérations suivantes :

    • Pour Source, sélectionnez Rapports Google Play.
    • Pour Destination, choisissez l'ensemble de données approprié.
    • Pour Display name (Nom à afficher), saisissez le nom du transfert (par exemple, "My transfer" (Mon transfert)). Le nom du transfert peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
    • Pour le paramètre Cloud Storage bucket (Bucket Cloud Storage), spécifiez votre bucket Cloud Storage.
    • Pour le paramètre Table Suffix (Suffixe de table), indiquez un suffixe tel que "MT" (pour "Mon transfert").
    • Pour Schedule (Planning), conservez la valeur par défaut.

      Planning par défaut des transferts Google Play

    • (Facultatif) Pour modifier le paramètre Schedule (Planning), cliquez sur Edit (Modifier), puis changez l'heure.

      Planning personnalisé des transferts Google Play

    • (Facultatif) Développez la section Avancé, puis configurez les notifications d'exécution pour le transfert. Les notifications d'exécution de transfert sont actuellement en version alpha.

      • Pour le paramètre Cloud Pub/Sub topic (Sujet Cloud Pub/Sub), indiquez le nom de votre sujet (par exemple, "projects/myproject/topics/mytopic").
      • Cochez la case Send email notifications (Envoyer des notifications par e-mail) pour autoriser les notifications par e-mail en cas d'échecs de l'exécution des transferts.
      • Ne cochez pas la case Disabled (Désactivé) lorsque vous configurez un transfert. Consultez l'article Utiliser les transferts pour désactiver des transferts existants.

        Sujet Cloud Pub/Sub

  5. Cliquez sur Ajouter. Notez qu'en cliquant sur le bouton "Ajouter", vous accordez à la fonctionnalité de création de rapports Google Play un accès en lecture et en écriture à l'ensemble de données BigQuery de destination que vous avez sélectionné.

  6. Lorsque vous y êtes invité, cliquez sur Allow (Autoriser) pour autoriser le service de transfert de données BigQuery à afficher vos données de rapports Google Play, à accéder aux données dans BigQuery et à les gérer. Vous devez autoriser les fenêtres pop-up de bigquery.cloud.google.com pour afficher la fenêtre des autorisations.

    Autoriser le transfert

Ligne de commande

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les indicateurs suivants sont également requis :

  • --target_dataset
  • --display_name
  • --params
  • --data_source

    bq mk --transfer_config --project_id=[PROJECT_ID] --target_dataset=[DATASET] --display_name=[NAME] --params='[PARAMETERS]' --data_source=[DATA_SOURCE]
    

Où :

  • --project_id correspond à l'ID de votre projet. Si --project_id n'est pas spécifié, le projet par défaut est utilisé.
  • --target_dataset est l'ensemble de données cible de la configuration de transfert.
  • --display_name est le nom à afficher pour la configuration de transfert. Le nom du transfert peut correspondre à toute valeur permettant de l'identifier facilement si vous devez le modifier ultérieurement.
  • --params contient les paramètres de la configuration de transfert au format JSON. Par exemple : --params='{"param":"param_value"}'. Pour Google Play, vous devez indiquer les paramètres bucket et table_suffix. bucket correspond au bucket Cloud Storage contenant vos fichiers de rapports Google Play.
  • --data_source représente la source de données : play.

Par exemple, la commande ci-dessous permet de créer un transfert Google Play nommé My Transfer à l'aide du bucket Cloud Storage pubsite_prod_rev_01234567890987654321 et de l'ensemble de données cible mydataset. Le transfert est créé dans le projet par défaut.

bq mk --transfer_config --target_dataset=mydataset --display_name='My Transfer' --params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' --data_source=play

La première fois que vous exécutez la commande, vous recevez un message semblable au suivant :

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Suivez les instructions du message et collez le code d'authentification sur la ligne de commande.

API

Exécutez la méthode projects.locations.transferConfigs.create et indiquez une instance de la ressource TransferConfig.

Lorsque les données sont transférées vers BigQuery, elles sont écrites dans des tables partitionnées par date. Pour en savoir plus, consultez l'article sur les tables partitionnées.

Si vous modifiez le schéma d'un rapport, tous les fichiers du jour concerné doivent avoir le même schéma, sinon le transfert échoue pour la journée entière.

Résoudre les problèmes liés à la configuration d'un transfert Google Play

Si vous ne parvenez pas à configurer un transfert, consultez l'article sur la résolution des problèmes rencontrés lors la configuration des transferts avec le service de transfert de données BigQuery.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…