Transferts Google Play

Le service de transfert de données BigQuery pour Google Play vous permet de planifier et de gérer automatiquement les tâches de chargement récurrentes pour les données de rapports Google Play.

Rapports acceptés

Le service de transfert de données BigQuery pour Google Play accepte actuellement les options de création de rapports mensuels qui sont présentées ci-dessous :

Rapports détaillés

Rapports agrégés

Pour plus d'informations sur la transformation des rapports Google Play en tables BigQuery, consultez la page Transformation des rapports Google Play.

Option de création de rapports Compatibilité
Version d'API compatible

N/A

Horaires

Tous les jours, à l'heure où le transfert a été créé (par défaut)

Vous pouvez configurer l'heure de la journée.

Fenêtre d'actualisation

7 derniers jours

Non configurable

Durée maximale du remplissage

Aucune limite

Même si aucune restriction connue n'est appliquée à la conservation des données dans Google Play, le service de transfert de données BigQuery limite le nombre de jours couverts par chaque demande de remplissage. Pour en savoir plus sur les remplissages, consultez la section Configurer un remplissage.

Avant de commencer

Avant de créer un transfert Google Play, procédez comme suit :

  • Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
  • Créez un ensemble de données BigQuery pour stocker les données Google Play.
  • Recherchez votre bucket Cloud Storage :
    • Dans la console Google Play, sélectionnez un rapport ("Avis", par exemple). Vous trouverez l'ID de votre bucket Cloud Storage en bas de la page. Votre ID de bucket commence par gs://. Par exemple, pour le rapport "Avis", vous verrez l'ID suivant :
      gs://pubsite_prod_rev_01234567890987654321/reviews
      Pour configurer votre transfert, vous ne devez copier que l'ID unique qui se trouve entre gs:// et /reviews.
      pubsite_prod_rev_01234567890987654321
  • Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour plus d'informations, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Autorisations requises

  • BigQuery : assurez-vous que la personne qui crée le transfert dispose des autorisations suivantes dans BigQuery :

    • Autorisations bigquery.transfers.update pour créer le transfert

    Le rôle IAM prédéfini bigquery.admin inclut des autorisations bigquery.transfers.update. Pour en savoir plus sur les rôles IAM dans le service de transfert de données BigQuery, consultez la documentation de référence sur le contrôle des accès.

  • Google Play : assurez-vous que vous disposez des autorisations suivantes dans Google Play :

    L'équipe Google Cloud ne peut pas générer ni attribuer de droits d'accès aux fichiers Google Play en votre nom. Pour obtenir de l'aide concernant l'accès aux fichiers Google Play, consultez la page Contacter l'assistance Google Play.

Configurer un transfert Google Play

La configuration d'un transfert Google Play requiert les éléments suivants :

  • Bucket Cloud Storage : les étapes vous permettant de localiser votre bucket Cloud Storage sont décrites dans la section Avant de commencer. Votre bucket Cloud Storage commence par pubsite_prod_rev. Exemple : pubsite_prod_rev_01234567890987654321.
  • Suffixe de table : nom convivial de toutes les sources de données chargées dans le même ensemble de données. Il empêche que des transferts séparés écrivent sur des tables identiques. Le suffixe de table doit être unique pour tous les transferts qui chargent des données dans le même ensemble de données. Il doit par ailleurs être court de façon à réduire la longueur du nom de table obtenu.

Pour configurer un transfert Google Play, procédez comme indiqué ci-dessous.

Console

  1. Accédez à la page "BigQuery" de Cloud Console.

    Accéder à BigQuery

  2. Cliquez sur Transferts.

  3. Cliquez sur Créer un transfert.

  4. Sur la page Créer un transfert :

    • Dans le champ Source de la section Source type (Type de source), choisissez Google Play.

      Source de transfert

    • Dans la section Transfer config name (Nom de la configuration de transfert), sousDisplay name (Nom à afficher), saisissez un nom pour le transfert, tel que My Transfer. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.

      Nom du transfert

    • Dans la section Schedule options (Options de programmation), pour le champ Custom Schedule (Programmation personnalisée), laissez la valeur par défaut Start now (Commencer), ou cliquez sur Start at a set time (Démarrer à l'heure définie).

      • Pour le champ Repeats (Périodicité), choisissez l'une des options suivantes pour la fréquence d'exécution du transfert.
        • Daily (Tous les jours) (par défaut)
        • Weekly (Toutes les semaines)
        • Monthly (Tous les mois)
        • Custom (Personnalisé)
        • On-demand (À la demande)
      • Pour le champ Start date and run time (Date de début et heure d'exécution), saisissez la date et l'heure de début du transfert. Cette option est désactivée si vous choisissez Start now (Commencer).

        Planning de transfert

    • Dans la section Destination settings (Paramètres de destination), pour le champ Destination dataset (Ensemble de données de destination), choisissez l'ensemble de données que vous avez créé pour stocker vos données.

      Transférer un ensemble de données

    • Dans la section Data source details (Détails de la source de données) :

      • Dans le champ Cloud Storage bucket (Bucket Cloud Storage), saisissez l'ID de votre bucket Cloud Storage.
      • Pour le paramètre Table Suffix (Suffixe de table), indiquez un suffixe tel que "MT" (pour "Mon transfert").

        Détails de la source Google Play

    • (Facultatif) Dans la section Notification options (Options de notification) :

      • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
      • Pour le champ Select a Pub/Sub topic (Sélectionner un sujet Pub/Sub), choisissez le nom de votre sujet ou cliquez sur Create a topic (Créer un sujet). Cette option configure les notifications d'exécution Cloud Pub/Sub pour votre transfert.
  5. Cliquez sur Save (Enregistrer).

bq

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les paramètres suivants sont également requis :

  • --target_dataset
  • --display_name
  • --params
  • --data_source
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Où :

  • project_id est l'ID de votre projet. Si --project_id n'est pas spécifié, le projet par défaut est utilisé.
  • dataset est l'ensemble de données cible de la configuration de transfert.
  • name est le nom à afficher pour la configuration de transfert. Ce nom peut correspondre à toute valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
  • parameters contient les paramètres de la configuration de transfert créée au format JSON. Exemple : --params='{"param":"param_value"}'. Pour Google Play, vous devez fournir les paramètres bucket et table_suffix. bucket correspond au bucket Cloud Storage contenant vos fichiers de rapport Play.
  • data_source correspond à la source de données : play.

Par exemple, la commande suivante crée un transfert Google Play nommé My Transfer, utilisant le bucket Cloud Storage pubsite_prod_rev_01234567890987654321 et l'ensemble de données cible mydataset. Le transfert est créé dans le projet par défaut.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

La première fois que vous exécutez la commande, vous recevez un message semblable au suivant :

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Suivez les instructions du message et collez le code d'authentification sur la ligne de commande.

API

Utilisez la méthode projects.locations.transferConfigs.create et fournissez une instance de la ressource TransferConfig.

Résoudre les problèmes liés à la configuration d'un transfert Google Play

Si vous ne parvenez pas à configurer un transfert, consultez la page sur la résolution des problèmes rencontrés lors la configuration des transferts avec le service de transfert de données BigQuery.

Interroger les données

Lorsque les données sont transférées vers BigQuery, elles sont écrites dans des tables partitionnées avec date d'ingestion. Pour plus d'informations, consultez la page Présentation des tables partitionnées.

Si vous interrogez directement les tables au lieu d'utiliser les vues générées automatiquement, vous devez utiliser la pseudo-colonne _PARTITIONTIME dans votre requête. Pour en savoir plus, consultez la page Interroger des tables partitionnées.

Étapes suivantes