Utiliser les transferts tiers

Les transferts tiers pour le service de transfert de données BigQuery vous permettent de planifier et de gérer automatiquement les tâches de chargement récurrentes de sources de données externes telles que Salesforce CRM, Adobe Analytics et Facebook Ads.

Avant de commencer

Avant de créer un transfert de données tiers :

  • Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
  • Créez un ensemble de données BigQuery pour stocker les données.
  • Assurez-vous que la personne qui crée le transfert dispose des autorisations requises suivantes dans BigQuery :

    • Autorisations bigquery.transfers.update pour créer le transfert
    • Autorisation bigquery.datasets.update sur l'ensemble de données cible

    Le rôle IAM prédéfini bigquery.admin au niveau du projet comprend les autorisations bigquery.transfers.update et bigquery.datasets.update. Pour en savoir plus sur les rôles IAM dans BigQuery, consultez la page Contrôle des accès.

  • Consultez la documentation d'Amazon S3 pour vous assurer que vous avez configuré toutes les autorisations nécessaires pour activer le transfert.

  • Les notifications d'exécution de transfert sont actuellement en version alpha. Si vous souhaitez configurer des notifications d'exécution de transfert pour Cloud Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Si vous ne configurez que des notifications par e-mail, les autorisations Cloud Pub/Sub ne sont pas requises. Pour en savoir plus, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Limites

Les transferts tiers sont soumis aux limitations suivantes :

  • Vous devez créer ou mettre à jour un transfert tiers en utilisant l'interface utilisateur Web BigQuery dans la console GCP. Les transferts tiers ne peuvent pas être configurés à l'aide de l'interface utilisateur Web classique.
  • Actuellement, vous ne pouvez pas configurer ou mettre à jour des transferts tiers à l'aide de l'outil de ligne de commande.

Configuration d'un transfert de données tiers

Pour créer un transfert de données tiers à l'aide de la console GCP, procédez comme suit :

  1. Accédez à GCP Marketplace.

    Accéder à GCP Marketplace

  2. Cliquez sur le fournisseur tiers approprié.

  3. Sur la page de documentation du fournisseur tiers, cliquez sur Ajouter. Le processus d'inscription peut prendre un moment.

  4. Une fois l'ajout terminé, cliquez sur Configurer le transfert.

  5. Sur la page Créer un transfert :

    • Dans le champ Source, choisissez la source de données tierce appropriée. Vous pouvez cliquer sur Explore Data Sources (Explorer les sources de données) pour voir la liste des fournisseurs tiers dans GCP Marketplace.

      Source de transfert

    • Pour Display name (Nom à afficher), saisissez le nom du transfert, par exemple My Transfer. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.

      Nom du transfert

    • Pour Programmation, laissez la valeur par défaut (Démarrer maintenant) ou cliquez sur Démarrer à l'heure définie.

      • Pour le champ Repeats (Périodicité), choisissez une option pour la fréquence d'exécution du transfert. Les options proposées comprennent :

        • Daily (Tous les jours) (par défaut)
        • Par semaine
        • Mensuel
        • Personnalisé
        • À la demande

        Si vous choisissez une option autre que Daily (Tous les jours), des options supplémentaires sont disponibles. Par exemple, si vous choisissez Toutes les semaines, une option vous permet de sélectionner le jour de la semaine.

      • Pour Start date and run time (Date de début et heure d'exécution), saisissez la date et l'heure de début du transfert. Cette option est désactivée si vous choisissez Start now (Commencer).

        Planning de transfert

    • Pour Destination dataset (Ensemble de données de destination), choisissez l'ensemble de données que vous avez créé pour stocker vos données.

      Transférer un ensemble de données

    • (Facultatif) Dans la section Options de notification :

      • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
      • Pour Sélectionnez un sujet Cloud Pub/Sub, choisissez le nom de votre sujet ou cliquez sur Créer un sujet pour en créer un. Cette option configure les notifications d'exécution Cloud Pub/Sub pour votre transfert. Les notifications d'exécution de transfert sont actuellement en version alpha.
  6. Cliquez sur Connecter une source.

  7. Lorsque vous y êtes invité, cliquez sur Accepter pour donner au service de transfert de données BigQuery le droit de se connecter à la source de données et de gérer vos données dans BigQuery.

  8. Suivez les instructions données dans les pages suivantes pour configurer la connexion à votre source de données externe.

  9. Une fois les étapes de configuration terminées, cliquez sur Enregistrer.

Résoudre les problèmes de configuration d'un transfert tiers

Si vous rencontrez des problèmes lors de la configuration de votre transfert, consultez le fournisseur tiers approprié. Les coordonnées sont disponibles sur la page de documentation du transfert dans GCP Marketplace.

Interroger les données

Lorsque les données sont transférées vers BigQuery, elles sont écrites dans des tables partitionnées avec date d'ingestion. Pour plus d'informations, consultez la page Présentation des tables partitionnées.

Si vous interrogez directement les tables au lieu d'utiliser les vues générées automatiquement, vous devez utiliser la pseudo-colonne _PARTITIONTIME dans votre requête. Pour en savoir plus, consultez la page Interroger des tables partitionnées.

Étapes suivantes

  • Pour une vue d'ensemble du service de transfert de données BigQuery, consultez la page Introduction au service de transfert de données BigQuery.
  • Pour plus d'informations sur l'utilisation des transferts, y compris l'obtention d'informations sur une configuration de transfert, la liste des configurations de transfert et l'affichage de l'historique d'exécution d'un transfert, consultez la page Utiliser les transferts.
Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.