Transferts de chaînes YouTube

Le service de transfert de données BigQuery pour YouTube vous permet de programmer et de gérer automatiquement les tâches de chargement récurrentes pour les rapports de chaîne YouTube.

Rapports acceptés

Le service de transfert de données BigQuery pour les rapports de chaîne YouTube accepte actuellement les options de création de rapports ci-dessous.

Pour en savoir plus sur la transformation des rapports de chaîne YouTube en tables et vues BigQuery, consultez la page Transformation des rapports de chaîne YouTube.

Option de création de rapports Compatibilité
Version d'API compatible 18 juin 2018
Programmation

Tous les jours, à environ 14h10 (UTC)

Vous pouvez configurer l'heure de la journée.

Fenêtre d'actualisation

La veille

Non configurable

Durée maximale du remplissage

180 derniers jours

YouTube conserve les données pendant 180 jours maximum. Pour plus d'informations, consultez Données de l'historique dans la documentation de l'API de création de rapports YouTube.

Avant de commencer

Avant de créer un transfert de chaîne YouTube :

  • Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
  • Créez un ensemble de données BigQuery pour stocker les données YouTube.
  • Si vous envisagez de créer des transferts à l'aide de l'UI Web classique de BigQuery, autorisez les pop-ups de bigquery.cloud.google.com pour pouvoir afficher la fenêtre des autorisations. Pour que le transfert aboutisse, vous devez autoriser le service de transfert de données BigQuery à gérer vos données de rapport YouTube.
  • Les notifications d'exécution de transfert sont actuellement en version alpha. Si vous souhaitez configurer des notifications d'exécution de transfert pour Cloud Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Si vous ne configurez que des notifications par e-mail, les autorisations Cloud Pub/Sub ne sont pas requises. Pour en savoir plus, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Autorisations requises

Assurez-vous que la personne qui crée le transfert dispose des autorisations requises suivantes :

  • BigQuery :

    • autorisations bigquery.transfers.update permettant de créer le transfert et autorisations bigquery.datasets.update sur l'ensemble de données cible.

    Le rôle IAM prédéfini bigquery.admin au niveau du projet comprend les autorisations bigquery.transfers.update et bigquery.transfers.update. Pour en savoir plus sur les rôles IAM dans BigQuery, consultez la page Contrôle des accès.

  • YouTube : propriétaire d'une chaîne YouTube.

Configurer un transfert de chaîne YouTube

Pour configurer un transfert de chaîne YouTube, vous devez disposer des éléments suivants :

  • Suffixe de table. Il s'agit du nom convivial de la chaîne que vous avez fourni lors de la configuration du transfert. Le suffixe est ajouté à l'ID de tâche pour former le nom de la table (par exemple, [reportTypeId]_[suffix]). Il empêche que des transferts séparés écrivent sur des tables identiques. Le suffixe de table doit être unique pour tous les transferts qui chargent des données dans le même ensemble de données. Il doit par ailleurs être court de façon à réduire la longueur du nom de table obtenu.

Si vous utilisez actuellement l'API de création de rapports YouTube et disposez de tâches de création de rapports, le service de transfert de données BigQuery charge les données de vos rapports. Si vous ne disposez d'aucune tâche de création de rapports, la configuration du transfert a pour effet d'activer automatiquement les tâches de création de rapports YouTube.

Pour créer un transfert de chaîne YouTube :

Console

  1. Accédez à l'UI Web de BigQuery.

    Accéder à l'interface utilisateur Web de BigQuery

  2. Cliquez sur Transferts.

  3. Cliquez sur + CRÉER.

  4. Sur la page Créer un transfert :

    • Dans la section Source type (Type de source), pour le champ Source, choisissez YouTube Channel (Chaîne YouTube).

      Source de transfert

    • Dans la section Transfer config name (Nom de la configuration de transfert), sous Display name (Nom à afficher), saisissez un nom pour le transfert, tel que My Transfer. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.

      Nom du transfert

    • Dans la section Schedule options (Options de programmation), pour le champ Schedule (Programmation), laissez la valeur par défaut Start now (Commencer), ou cliquez sur Start at a set time (Démarrer à l'heure définie).

      • Pour le champ Repeats (Périodicité), choisissez une option pour la fréquence d'exécution du transfert.
        • Daily (Tous les jours) (par défaut)
        • Par semaine
        • Mensuel
        • Personnalisé
        • À la demande
      • Pour Start date and run time (Date de début et heure d'exécution), saisissez la date et l'heure de début du transfert. Cette option est désactivée si vous choisissez Start now (Commencer).

        Planning de transfert

    • Dans la section Destination settings (Paramètres de destination), pour le champ Destination dataset (Ensemble de données de destination), choisissez l'ensemble de données que vous avez créé pour stocker vos données.

      Transférer un ensemble de données

    • Dans la section Data source details (Détails de la source de données) :

      • Pour Numéro client, saisissez votre numéro client ou votre compte administrateur.
      • Cochez Exclure les éléments supprimés/désactivés pour empêcher le transfert des entités et des métriques supprimées ou désactivées.

        Informations sur la source de la chaîne YouTube

    • (Facultatif) Dans la section Options de notification :

      • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
      • Pour le champ Sélectionner un sujet Cloud Pub/Sub, choisissez votre nom de sujet ou cliquez sur Créer un sujet. Cette option configure les notifications d'exécution Cloud Pub/Sub pour votre transfert. Les notifications d'exécution de transfert sont actuellement en version alpha.
  5. Cliquez sur Enregistrer.

UI classique

  1. Accédez à l'UI Web de BigQuery.

    Accéder à l'interface utilisateur Web de BigQuery

  2. Cliquez sur Transferts.

  3. Cliquez sur Ajouter un transfert.

  4. Sur la page New Transfer (Nouveau transfert) :

    • Pour Source, choisissez YouTube Channel (Chaîne YouTube).
    • Pour Display name (Nom à afficher), saisissez le nom du transfert, par exemple My Transfer.
    • Pour Schedule (Programmation), conservez la valeur par défaut ou cliquez sur Edit (Modifier) pour changer l'heure.

      Programmation personnalisée du transfert de chaîne

    • Pour Destination dataset (Ensemble de données de destination), sélectionnez l'ensemble de données approprié.

    • Pour Channel page ID (ID de page de la chaîne), saisissez l'ID de page de votre chaîne.

    • Pour Table suffix (Suffixe de table), saisissez un suffixe tel que MT.

    • Cochez la case Configure jobs (Configurer les tâches) pour autoriser le service de transfert BigQuery à gérer les tâches de création de rapports YouTube à votre place. Si des rapports YouTube n'existent pas actuellement pour votre chaîne, des tâches de création de rapports sont créées de façon à les activer.

      Transferts de chaînes YouTube

    • (Facultatif) Développez la section Advanced (Avancé), puis configurez les notifications d'exécution pour votre transfert. Les notifications d'exécution de transfert sont actuellement en version alpha.

      • Pour le paramètre Cloud Pub/Sub topic (Sujet Cloud Pub/Sub), saisissez le nom de votre sujet (par exemple, projects/myproject/topics/mytopic).
      • Cochez la case Send email notifications (Envoyer des notifications par e-mail) pour autoriser les notifications par e-mail en cas d'échec de l'exécution des transferts.
      • Ne cochez pas la case Disabled (Désactivé) lorsque vous configurez un transfert. Pour désactiver les transferts existants, consultez la page Utiliser les transferts.

        Sujet Cloud Pub/Sub

  5. Cliquez sur Ajouter.

  6. Lorsque vous y êtes invité, cliquez sur Allow (Autoriser) pour autoriser le service de transfert BigQuery à gérer vos données de rapport YouTube. Vous devez autoriser les pop-ups de bigquery.cloud.google.com pour afficher la fenêtre des autorisations. Si vous avez plusieurs comptes, vous pouvez également être invité à choisir celui que vous souhaitez employer.

    Autoriser le transfert

Ligne de commande

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les indicateurs suivants sont également requis :

  • --data_source
  • --target_dataset
  • --display_name
  • --params

    bq mk --transfer_config --project_id=[PROJECT_ID] --target_dataset=[DATASET] --display_name=[NAME] --params='[PARAMETERS]' --data_source=[DATA_SOURCE]
    

Où :

  • --project_id est l'ID du projet.
  • --target_dataset est l'ensemble de données cible pour la configuration de transfert.
  • --display_name est le nom à afficher pour la configuration de transfert. Ce nom peut correspondre à toute valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
  • --params contient les paramètres de la configuration de transfert créée au format JSON. Par exemple : --params='{"param":"param_value"}'. Pour les transferts de chaînes YouTube, vous devez indiquer les paramètres page_id et table_suffix. Vous pouvez éventuellement définir le paramètre configure_jobs sur true pour autoriser le service de transfert BigQuery à gérer les tâches de création de rapports YouTube à votre place. Si des rapports YouTube n'existent pas actuellement pour votre chaîne, des tâches de création de rapports sont créées de façon à les activer.
  • --data_source est la source de données (youtube_channel).

Vous pouvez également fournir l'indicateur --project_id pour spécifier un projet particulier. Si --project_id n'est pas indiqué, le projet par défaut est utilisé.

Par exemple, la commande suivante crée un transfert de chaîne YouTube nommé My Transfer avec l'ID de page 123123123, le suffixe de table MT et l'ensemble de données cible mydataset. Le transfert est créé dans le projet par défaut :

bq mk --transfer_config --target_dataset=mydataset --display_name='My Transfer' --params='{"page_id":"123123123","table_suffix":"MT","configure_jobs":"true"}' --data_source=youtube_channel

API

Exécutez la méthode projects.locations.transferConfigs.create, puis indiquez une instance de la ressource TransferConfig.

Interroger les données

Lorsque les données sont transférées vers BigQuery, elles sont écrites dans des tables partitionnées avec date d'ingestion. Pour plus d'informations, consultez la page Présentation des tables partitionnées.

Si vous interrogez directement les tables au lieu d'utiliser les vues générées automatiquement, vous devez utiliser la pseudo-colonne _PARTITIONTIME dans votre requête. Pour en savoir plus, consultez la page Interroger des tables partitionnées.

Résoudre les problèmes de configuration des transferts de chaînes YouTube

Si vous rencontrez des problèmes lors de la configuration du transfert, consultez la section Problèmes de transfert sur YouTube, sur la page Résoudre les problèmes de configuration des transferts avec le service de transfert de données BigQuery.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.